英文:Execution-Based Code Evaluation 分类:eval
通过实际执行生成的代码(运行测试用例)来评估代码正确性的方法,比静态文本匹配(BLEU)更真实,是代码模型评测的主流标准。
流程:生成代码→构造测试→运行(编译/执行)→判定通过率(pass@k);基准:HumanEval、MBPP、SWE-bench(真实仓库任务);指标:pass@1/pass@k、修复成功率;注意:测试质量(防投机通过)、环境隔离。
用于代码生成模型评测与选型(HumanEval/SWE-bench 分数)、编码 Agent 验收(真实任务)、测试生成质量验证与 CI 集成;代码执行评测是"代码能不能跑"的最终检验。