语音-语言模型

英文:Speech-Language Model 分类:multimodal

基本释义

以语音为原生输入(不经文本转录)的大语言模型,直接理解语音中的语义、情绪、说话人特征并作出回应,代表下一代语音 AI 形态。

技术要点

技术:语音编码器对齐 LLM 隐藏空间、语音离散 Token 预训练、指令微调(语音问答/翻译/摘要);能力超越 ASR+LLM 级联:理解语气与重点、抗噪声、多语种;代表:Qwen2-Audio、GPT-4o、Gemini Live。

应用场景

用于语音助手(对话不落文本)、实时翻译、客服质检(语义+情绪)与智能会议;语音-语言模型是"语音原生智能"的核心载体。

返回AI百科目录 · AI最前沿首页

相关词条:扩散模型 · 视觉编码器 · 语音合成 · 零样本语音合成 · 视觉语言指令微调