Agent 评估

英文:Agent Evaluation 分类:agent

基本释义

对 AI 智能体的规划、工具使用、多步执行与最终结果进行系统评测的方法体系。智能体行为链长、状态空间大,评估需同时看过程质量与结果正确性。

技术要点

方法包括:任务完成率(端到端成功率)、过程指标(步数效率、工具调用正确率、恢复能力)、鲁棒性(干扰、状态扰动)与安全性(越权、提示注入);基准如 GAIA、WebArena、SWE-bench、τ-bench,辅以人工评审与自评(LLM-as-judge)。

应用场景

用于智能体产品上线前的质量门禁、模型选型(Claude/GPT/国产模型对比)与持续监控;企业以"任务集+评测脚本"建立智能体回归测试体系。

返回AI百科目录 · AI最前沿首页

相关词条:Agent Harness · Agent · 思维链 · AgentOps · 反射机制