人工评估

英文:Human Evaluation 分类:eval

基本释义

由人工判断模型输出质量。

技术要点

评测需注意:避免数据污染(训练集混入测试集)、采用多维度指标(准确率+鲁棒性+安全性)、小样本多次测试取平均。大模型评测通常采用LLM-as-Judge方法,但需校准判官偏差。

发展脉络

NLP评测从早期的SQuAD、GLUE,发展到大模型时代的MMLU、GSM8K、HumanEval;中文评测有C-Eval、CMMLU、SuperCLUE。排行榜则以HuggingFace Open LLM Leaderboard为代表。

应用场景

企业内部评测通常包含:通用能力基准、业务专项集(如客服准确率)、红队安全测试与人工抽样。评测报告需附数据版本、模型版本与置信区间。

返回AI百科目录 · AI最前沿首页

相关词条:大模型评审 · 聊天机器人竞技场 · 数据治理 · CMMLU · 自动评估