英文:实时语音对话(Real-Time Voice AI) 分类:multimodal
以语音为自然交互界面、可在亚秒级延迟内进行双向实时对话的 AI 能力。实时语音对话让用户像与真人交谈一样与 AI 沟通,支持随时打断、语气情绪与副语言信息(停顿、语调、呼吸声)的传递,是语音助手、客服、学习陪伴等场景从"问一句答一句"走向"自然对话"的关键技术。
技术路线上经历了从"管线式"到"端到端"的演进:管线式由语音识别(ASR)→ 大模型 → 语音合成(TTS)串联,延迟高且丢失情感信息;端到端语音模型让语音直接输入输出,由单一模型完成理解与生成,配合流式传输(WebRTC/WebSocket)、打断检测(barge-in)与语音活动检测(VAD)实现实时交互。2026 年进一步叠加实时数字人形象(Live Avatar)与情感深度建模,交互体验逼近真人视频通话。
2023 年语音助手仍以管线式为主;2024 年 GPT-4o 原生实时语音与 Google Gemini Live 将端到端实时对话推向主流;2025 年各厂语音模型能力与情绪表达大幅提升;2026 年 Gemini 3.8 Live 等引入实时数字人形象,实时语音成为智能体标配交互入口。
手机语音助手、智能客服、语言学习陪练、实时会议同传与速记、车载免提交互、数字人直播与虚拟偶像互动。