英文:Deep Learning 分类:foundation
以多层神经网络为核心、通过大量数据自动学习层次化表示的机器学习方法。它无需人工设计特征,低层学基础模式、高层学抽象语义,是当前大模型、自动驾驶、人脸识别等突破性技术的共同基础。
关键技术包括反向传播与梯度优化、激活函数与归一化(BatchNorm、LayerNorm)、正则化(Dropout、权重衰减)与大规模并行训练(GPU、分布式)。深度带来更强的表示能力,也带来训练困难,需配合残差连接、优化器调参等工程手段。
2006 年深度信念网络重燃研究热情,2012 年 AlexNet 引爆视觉,2016 年 AlphaGo 震动世界,2018 年预训练模型与 2022 年 ChatGPT 相继出现,深度学习从专用任务走向通用智能。
图像与语音识别、自然语言处理、推荐系统、医疗影像、金融风控与科学发现;几乎所有主流 AI 产品都建立在深度学习之上,大模型是其当前最具代表性的形态。
相关词条:Transformer · 注意力机制 · 自注意力 · 神经网络 · 机器学习