统一多模态

英文:Unified Multimodal 分类:multimodal

基本释义

用单一模型处理文本、图像、音频、视频等多种模态的架构理念:共享参数与训练,实现任意输入→任意输出的通用智能。

技术要点

技术:统一 Token 化(各模态映射到共享离散空间)、统一序列建模(一个 Transformer 处理所有模态)、模态间迁移(用文本增强视觉等);代表:Gemini、GPT-4o、Qwen2.5-Omni;挑战:模态失衡(数据量差异)与训练稳定性。

应用场景

用于通用助手(手机/桌面全能 AI)、机器人(多模态感知)、内容平台(图文音视频统一理解);统一多模态是"AGI 形态"的主要候选。

返回AI百科目录 · AI最前沿首页

相关词条:扩散模型 · 视觉编码器 · 语音合成 · 跨模态注意力 · 多模态推理