推理链评测

英文:Chain-of-Thought Evaluation 分类:eval

基本释义

评估模型思维链(CoT)推理质量的评测:不仅看最终答案,还检查推理步骤的逻辑正确性、完备性与一致性。

技术要点

方法:过程监督(逐步验证:PRM 判步)、答案+过程双评分、推理忠实度(答案是否真的由步骤推出);指标:步骤准确率、过程-答案一致性;基准:数学过程基准(PRM800K 类)、GSM8K 过程版。

应用场景

用于推理模型训练(过程监督数据)、CoT 提示效果评估、可解释性研究(推理透明)与教育诊断(定位错步);推理链评测是"推理过程质量"的度量。

返回AI百科目录 · AI最前沿首页

相关词条:大模型评审 · 聊天机器人竞技场 · 数据治理 · 数学推理评测 · 端到端评测