掩码

英文：Mask　分类：foundation

基本释义

在模型计算中隐藏或屏蔽部分信息的技术：编码器语言模型（如 BERT）用掩码遮住词元做预测，自回归模型用因果掩码保证只关注过去，注意力计算用填充掩码排除 padding 位置。掩码是自监督与自回归训练的核心机制。

技术要点

因果掩码（Causal Mask）将注意力矩阵上三角置为负无穷，使位置 i 只能看到 ≤i 的 Token；MLM 掩码按概率替换词元（[MASK]）；KV 缓存推理时掩码与已生成序列配合。实现上需注意掩码与矩阵广播、padding 对齐的数值细节。

发展脉络

2018 年 BERT 的 MLM 掩码与 GPT 的因果掩码确立两大预训练范式；此后掩码语言建模、前缀掩码（T5）与因果掩码（LLM）共同构成语言模型训练的目标体系。

应用场景

BERT 类模型预训练、GPT 类模型自回归生成、变长批次训练与 KV 缓存推理；工程上掩码矩阵的生成与算子融合直接影响训练/推理吞吐。

返回AI百科目录 · AI最前沿首页

相关词条：Transformer · 注意力机制 · 自注意力 · 位置编码 · 前馈网络