视频生成

英文:视频生成(Video Generation) 分类:multimodal

基本释义

利用生成式 AI 模型,从文本、图像、音频等输入直接合成逼真视频的技术。视频生成是继文本生成、图像生成之后生成式 AI 的下一高地,要求模型在时空两个维度上保持一致性,既理解画面内容又把握运动规律,技术难度显著高于静态图像生成。

技术要点

主流路线包括:①扩散 Transformer(DiT)——在时空 patch 上做扩散去噪,如 Sora 采用的架构;②自回归视频模型——将视频离散化为 token 逐帧预测;③流匹配与一致性蒸馏——加速采样、降低生成成本;④可控生成——相机运动控制、首尾帧约束、区域编辑、角色一致性保持;⑤音视频联合生成——画面与配音、音效同步生成。长视频生成还需解决记忆衰减与场景一致性两大难题。

发展脉络

2023 年 Runway、Stable Video Diffusion 等实现秒级短视频生成;2024 年 OpenAI Sora 与 Google Veo、快手可灵、生数 Vidu 等将时长与画质大幅提升;2025-2026 年生成时长从数十秒迈向分钟级,实时生成、影视级可控性与多镜头叙事成为竞争焦点,Google 等在长视频生成上持续取得进展。

应用场景

短视频与社交媒体创作、广告营销素材、影视预演与特效、游戏 CG 与虚拟场景、教育培训演示、数字人与直播内容生产。

返回AI百科目录 · AI最前沿首页

相关词条:扩散模型 · 视觉编码器 · 语音合成 · 具身智能体 · 视觉语言模型