英文:视频生成(Video Generation) 分类:multimodal
利用生成式 AI 模型,从文本、图像、音频等输入直接合成逼真视频的技术。视频生成是继文本生成、图像生成之后生成式 AI 的下一高地,要求模型在时空两个维度上保持一致性,既理解画面内容又把握运动规律,技术难度显著高于静态图像生成。
主流路线包括:①扩散 Transformer(DiT)——在时空 patch 上做扩散去噪,如 Sora 采用的架构;②自回归视频模型——将视频离散化为 token 逐帧预测;③流匹配与一致性蒸馏——加速采样、降低生成成本;④可控生成——相机运动控制、首尾帧约束、区域编辑、角色一致性保持;⑤音视频联合生成——画面与配音、音效同步生成。长视频生成还需解决记忆衰减与场景一致性两大难题。
2023 年 Runway、Stable Video Diffusion 等实现秒级短视频生成;2024 年 OpenAI Sora 与 Google Veo、快手可灵、生数 Vidu 等将时长与画质大幅提升;2025-2026 年生成时长从数十秒迈向分钟级,实时生成、影视级可控性与多镜头叙事成为竞争焦点,Google 等在长视频生成上持续取得进展。
短视频与社交媒体创作、广告营销素材、影视预演与特效、游戏 CG 与虚拟场景、教育培训演示、数字人与直播内容生产。