Dropout

英文:Dropout 分类:training

基本释义

训练时按概率随机"丢弃"(置零)部分神经元及其连接的正则化技术:强制网络学习冗余表征、防止神经元共适应,是最经典的深度学习正则化方法之一。

技术要点

机制:每步按 p(如 0.1-0.5)随机丢弃,推理时不丢弃(按保留概率缩放);变体:embedding dropout(大模型常用)、attention dropout(注意力权重)、Stochastic Depth(丢弃层);大模型趋势:残差前 Norm 后 Dropout 减少(更少依赖);参数:p 值需调(过大会欠拟合)。

应用场景

用于全连接/CNN 网络(经典正则化)、Transformer 训练(embedding/attention dropout)、防止小数据过拟合(数据不足时)与模型集成近似(多次随机掩码)。

返回AI百科目录 · AI最前沿首页

相关词条:微调 · 监督微调 · 指令微调 · 权重衰减 · 优化器