英文:Scaling Law 分类:training
描述模型性能(损失)随参数量、数据量、算力呈幂律关系变化的经验规律:给定算力预算可预测模型效果并指导资源分配,支撑了"更大更强"的大模型路线,近年重心转向数据质量与推理算力。
经典形式:L ∝ N^(-α)·D^(-β)·C^(-γ)(参数量/数据量/算力幂律,Chinchilla 提出参数量与数据量同步缩放);应用:最优分配(计算最优训练规模)、损失预测(外推未训练规模);新方向:数据质量系数、推理时算力(test-time compute)提升;局限:边际收益递减。
用于大模型训练规划(参数/数据/算力预算)、算力投资决策(数据中心规模)、训练成本控制(避免过度训练)与模型路线评估(继续缩放 vs 新范式)。