英文:Per-Parameter Efficiency 分类:frontier
模型每个参数贡献的能力增量:参数越多能力越强,但效率(每参数能力)因训练方法、数据质量与架构而异,是规模化研究的核心指标。
影响因素:训练数据质量(数据效率外溢)、训练方法(强化学习提升效率)、架构(MoE 稀疏激活)、过参数化(冗余参数);衡量:同参数量能力对比、能力-参数曲线斜率;趋势:推理训练让每参数效率跃升。
用于模型架构比较(同参数量谁更强)、训练方法评估(效率提升验证)、成本规划(参数预算决策)与研究;每参数效率是"参数价值"的度量。