英文:Chain-of-Thought Evaluation 分类:eval
评估模型思维链(CoT)推理质量的评测:不仅看最终答案,还检查推理步骤的逻辑正确性、完备性与一致性。
方法:过程监督(逐步验证:PRM 判步)、答案+过程双评分、推理忠实度(答案是否真的由步骤推出);指标:步骤准确率、过程-答案一致性;基准:数学过程基准(PRM800K 类)、GSM8K 过程版。
用于推理模型训练(过程监督数据)、CoT 提示效果评估、可解释性研究(推理透明)与教育诊断(定位错步);推理链评测是"推理过程质量"的度量。