英文:End-to-End Speech Model 分类:multimodal
直接从语音输入到语义输出的单一模型,取代"语音识别+文本理解"的级联流程。端到端建模保留语调、说话人等语音特有信息。
代表:Whisper(语音→文本)、Qwen-Audio/SALMONN(语音→语义/指令)、GPT-4o 类原生语音(语音进语音出);技术:语音编码器+LLM、离散语音 Token;优势:信息无损、延迟低、支持语音到语音。
用于实时语音助手、同声传译、语音交互 Agent 与多模态会议;端到端语音模型是"语音优先交互"时代的架构方向。