多模态智能体

英文:Multimodal Agent 分类:multimodal

基本释义

能同时感知(视觉/听觉/触觉)与行动(GUI、机器人、工具)的智能体,通过多模态输入理解真实世界并执行任务。

技术要点

技术:多模态大模型作"大脑"(理解截图/视频/语音)、GUI 操作(Computer Use)、工具调用(搜索、API)、环境交互(机器人控制);评测:GUI 任务成功率、真实世界任务完成率。

应用场景

用于手机/电脑自动化助手(看屏幕办事)、机器人与自动驾驶(视觉决策)、无人零售与可穿戴助理;多模态智能体是"AI 走进现实操作"的载体。

返回AI百科目录 · AI最前沿首页

相关词条:扩散模型 · 视觉编码器 · 语音合成 · 多模态生成 · 视频扩散模型