多模态推理

英文:Multimodal Reasoning 分类:multimodal

基本释义

需要结合多种模态证据进行逻辑推理的能力,如"看图表+读文字→回答问题"。它超越单模态识别,是多模态大模型的高阶能力。

技术要点

任务类型:图表推理(表格/图→结论)、视觉数学(图中有题)、时空推理(视频因果)、跨模态验证(图文一致性);评测:MMMU、MathVista、ChartQA;难点:多步推理+模态证据定位(引用区域)。

应用场景

用于科学教育(图解题目)、数据分析(图表问答)、智能文档(图表+正文)与诊断辅助(影像+病历);多模态推理是"理解复杂现实"的关键。

返回AI百科目录 · AI最前沿首页

相关词条:扩散模型 · 视觉编码器 · 语音合成 · 统一多模态 · 多模态生成