英文:Text-to-Speech 分类:multimodal
把文本转换成自然语音的技术,基于神经网络的方案已能做到接近真人的音色、语气与情感。它支撑了有声内容、客服外呼与实时语音助手等大量应用。
多模态模型通常采用双塔结构:视觉编码器(ViT/CLIP)将图像编码为Patch Embedding,通过Projection Layer对齐到语言模型的Token空间,再与文本Token拼接输入Transformer。训练阶段需关注模态间对齐损失与数据配比。
从2012年AlexNet开始,视觉与语言长期分离发展;2021年CLIP首次实现大规模图文对齐,2023年GPT-4V与Gemini将多模态能力带入实用阶段。
应用场景包括:智能文档理解(OCR+表格解析)、图像搜索、视频内容分析、AI设计与创意生成。在医疗、教育等垂直领域,多模态能力显著提升了信息理解的完整度。