每参数效率

英文:Per-Parameter Efficiency 分类:frontier

基本释义

模型每个参数贡献的能力增量:参数越多能力越强,但效率(每参数能力)因训练方法、数据质量与架构而异,是规模化研究的核心指标。

技术要点

影响因素:训练数据质量(数据效率外溢)、训练方法(强化学习提升效率)、架构(MoE 稀疏激活)、过参数化(冗余参数);衡量:同参数量能力对比、能力-参数曲线斜率;趋势:推理训练让每参数效率跃升。

应用场景

用于模型架构比较(同参数量谁更强)、训练方法评估(效率提升验证)、成本规划(参数预算决策)与研究;每参数效率是"参数价值"的度量。

返回AI百科目录 · AI最前沿首页

相关词条:模型自进化 · 合成数据 · 长度外推 · 智能密度 · 训练效率