英文：Overparameterization 分类：foundation
模型参数量远超训练样本量的状态。直觉上应严重过拟合，但现代神经网络在大规模过参数化下反而泛化良好，这一"过参数化之谜"是深度学习理论的核心现象，也是大模型"规模法则"的前提。
理论解释包括隐式正则化（SGD 偏好简单解）、双重下降现象（参数量越过插值阈值后测试误差再次下降）、大模型的多任务能力与相变行为。过参数化模型通过权重初始化、优化过程与数据分布的共同作用实现泛化，而非依赖参数数量的直接约束。
2018 年"双重下降"与隐式正则化研究兴起，2020 年 GPT-3 验证规模法则（损失随参数/数据/算力幂律下降），2022 年后大模型在过参数化状态下持续扩大规模并涌现新能力。
大模型预训练规模决策（参数、数据、算力配比）、训练动力学分析与理论解释；工程上指导稀疏化（剪枝、MoE）在保留性能的前提下压缩过参数化模型。
相关词条：Transformer · 注意力机制 · 自注意力 · 数据增强 · 稀疏激活