英文:Computer Use 分类:agent
让模型看屏幕截图、操作鼠标键盘来直接使用软件,而不依赖软件提供 API。它打开了大量没有接口的存量软件的自动化空间,但可靠性与安全性仍是主要门槛。
Agent系统的核心组件包括:LLM推理引擎、工具注册表(Function Calling Schema)、记忆存储(向量数据库+对话历史)与规划器。关键技术点包括:提示工程(ReAct/CoT)、错误恢复(Replan)与多轮对话状态管理。
Agent概念最早可追溯到2015年DeepMind的DQN,2023年OpenAI Plugin与Function Calling将其带入大模型时代;随后LangChain、Dify、Coze等框架大幅降低了开发门槛。
典型应用包括:个人助理(日程管理、邮件起草)、代码Agent(自动修复bug)、数据分析Agent(自然语言查数据库)。生产环境需设置Guardrail防止越权操作,并记录完整执行轨迹用于审计。
相关词条:Agent Harness · Agent · 思维链 · Agentic RAG · GUI 智能体