英文:Unified Multimodal 分类:multimodal
用单一模型处理文本、图像、音频、视频等多种模态的架构理念:共享参数与训练,实现任意输入→任意输出的通用智能。
技术:统一 Token 化(各模态映射到共享离散空间)、统一序列建模(一个 Transformer 处理所有模态)、模态间迁移(用文本增强视觉等);代表:Gemini、GPT-4o、Qwen2.5-Omni;挑战:模态失衡(数据量差异)与训练稳定性。
用于通用助手(手机/桌面全能 AI)、机器人(多模态感知)、内容平台(图文音视频统一理解);统一多模态是"AGI 形态"的主要候选。