英文：Diffusion Transformer 分类：multimodal
用 Transformer 替换扩散模型中常用的 U-Net 作为去噪骨干，配合分块机制统一处理图像与视频。它是当前主流视频与图像生成模型的标准架构。
多模态模型通常采用双塔结构：视觉编码器（ViT/CLIP）将图像编码为Patch Embedding，通过Projection Layer对齐到语言模型的Token空间，再与文本Token拼接输入Transformer。训练阶段需关注模态间对齐损失与数据配比。
从2012年AlexNet开始，视觉与语言长期分离发展；2021年CLIP首次实现大规模图文对齐，2023年GPT-4V与Gemini将多模态能力带入实用阶段。
应用场景包括：智能文档理解（OCR+表格解析）、图像搜索、视频内容分析、AI设计与创意生成。在医疗、教育等垂直领域，多模态能力显著提升了信息理解的完整度。