代码执行评测

英文:Execution-Based Code Evaluation 分类:eval

基本释义

通过实际执行生成的代码(运行测试用例)来评估代码正确性的方法,比静态文本匹配(BLEU)更真实,是代码模型评测的主流标准。

技术要点

流程:生成代码→构造测试→运行(编译/执行)→判定通过率(pass@k);基准:HumanEval、MBPP、SWE-bench(真实仓库任务);指标:pass@1/pass@k、修复成功率;注意:测试质量(防投机通过)、环境隔离。

应用场景

用于代码生成模型评测与选型(HumanEval/SWE-bench 分数)、编码 Agent 验收(真实任务)、测试生成质量验证与 CI 集成;代码执行评测是"代码能不能跑"的最终检验。

返回AI百科目录 · AI最前沿首页

相关词条:大模型评审 · 聊天机器人竞技场 · 数据治理 · 长文本评测 · 数学推理评测