统计显著性

英文:Statistical Significance 分类:eval

基本释义

判断模型间性能差异是否由真实能力差异引起(而非随机波动)的统计检验方法,防止把噪声当进步。

技术要点

方法:配对检验(相同样例对比:McNemar、配对 t)、Bootstrap 重采样(置信区间)、方差分析;要素:样本量(评测条数)、效应量、显著性水平(p<0.05);报告:置信区间优于单纯 p 值。

应用场景

用于模型版本对比(新模型是否真更好)、A/B 测试(线上效果)、学术论文(实验严谨性)与榜单差异判断;统计显著性让"进步"有据可依。

返回AI百科目录 · AI最前沿首页

相关词条:大模型评审 · 聊天机器人竞技场 · 数据治理 · 归一化得分 · 人类基线