端到端语音模型

英文:End-to-End Speech Model 分类:multimodal

基本释义

直接从语音输入到语义输出的单一模型,取代"语音识别+文本理解"的级联流程。端到端建模保留语调、说话人等语音特有信息。

技术要点

代表:Whisper(语音→文本)、Qwen-Audio/SALMONN(语音→语义/指令)、GPT-4o 类原生语音(语音进语音出);技术:语音编码器+LLM、离散语音 Token;优势:信息无损、延迟低、支持语音到语音。

应用场景

用于实时语音助手、同声传译、语音交互 Agent 与多模态会议;端到端语音模型是"语音优先交互"时代的架构方向。

返回AI百科目录 · AI最前沿首页

相关词条:扩散模型 · 视觉编码器 · 语音合成 · 语音识别 · 扩散变换器