Midjourney

英文:Midjourney 分类:multimodal

基本释义

流行的AI图像生成产品,以艺术质量著称。

技术要点

多模态模型通常采用双塔结构:视觉编码器(ViT/CLIP)将图像编码为Patch Embedding,通过Projection Layer对齐到语言模型的Token空间,再与文本Token拼接输入Transformer。训练阶段需关注模态间对齐损失与数据配比。

发展脉络

从2012年AlexNet开始,视觉与语言长期分离发展;2021年CLIP首次实现大规模图文对齐,2023年GPT-4V与Gemini将多模态能力带入实用阶段。

应用场景

应用场景包括:智能文档理解(OCR+表格解析)、图像搜索、视频内容分析、AI设计与创意生成。在医疗、教育等垂直领域,多模态能力显著提升了信息理解的完整度。

返回AI百科目录 · AI最前沿首页

相关词条:扩散模型 · 视觉编码器 · 语音合成 · DALL-E · 图生图