零样本语音合成

英文:Zero-Shot TTS 分类:multimodal

基本释义

仅凭几秒参考音频就能克隆/模仿目标音色进行语音合成的技术,无需针对该说话人训练。它是个性化语音合成的关键能力。

技术要点

技术:说话人编码(参考音频→音色向量)、语音离散标记(自监督表征)+语言模型生成(VALL-E、GPT-SoVITS)、扩散式声码器;质量取决于参考音频清晰度与模型鲁棒性;需严格授权合规。

应用场景

用于个性化配音(小说、视频)、声音复刻(需授权)、跨语言音色保持与无障碍;零样本 TTS 大幅降低"专属声音"的生产门槛。

返回AI百科目录 · AI最前沿首页

相关词条:扩散模型 · 视觉编码器 · 语音合成 · 多语言语音合成 · 语音-语言模型