基准测试

英文：Benchmark Test　分类：eval

基本释义

用标准化任务与指标对模型/系统进行可复现测试的过程，用于比较能力、追踪进步与驱动竞争（如 MMLU、HumanEval）。

技术要点

要素：固定任务集、统一评估协议（few-shot/温度）、权威指标（准确率/通过率）；设计考量：难度梯度、防污染（测试集隔离）、饱和预警（分数到顶）；流程：运行→报告→复现验证。

应用场景

用于模型发布（对比榜单）、学术研究（SOTA 追踪）、采购选型（供应商对比）与版本回归；基准测试是"AI 能力度量"的标准化方法。

返回AI百科目录 · AI最前沿首页

相关词条：大模型评审 · 聊天机器人竞技场 · 数据治理 · 交叉验证 · 排行榜