英文:Statistical Significance 分类:eval
判断模型间性能差异是否由真实能力差异引起(而非随机波动)的统计检验方法,防止把噪声当进步。
方法:配对检验(相同样例对比:McNemar、配对 t)、Bootstrap 重采样(置信区间)、方差分析;要素:样本量(评测条数)、效应量、显著性水平(p<0.05);报告:置信区间优于单纯 p 值。
用于模型版本对比(新模型是否真更好)、A/B 测试(线上效果)、学术论文(实验严谨性)与榜单差异判断;统计显著性让"进步"有据可依。