专家评估

英文：Expert Evaluation　分类：eval

基本释义

由领域专家（医生、律师、工程师等）对模型输出进行专业质量评估的方法，适用于高专业门槛任务（医疗诊断、法律意见、代码审查）。

技术要点

流程：专家指南制定（评估维度）、专家评分/标注、一致性校验（多专家 Kappa）、迭代校准；优势：专业准确性、识别细微错误（自动指标难覆盖）；成本高（专家稀缺），常与自动指标结合。

应用场景

用于医疗 AI（诊断建议审核）、法律文书、专业写作、代码生成质量与高风险领域上线验收；专家评估是"专业领域金标准"。

返回AI百科目录 · AI最前沿首页

相关词条：大模型评审 · 聊天机器人竞技场 · 数据治理 · 人类基线 · 双重盲评