音频理解

英文:Audio Understanding 分类:multimodal

基本释义

用模型理解音频内容:语音(内容、说话人、情绪)、音乐(旋律、结构)与环境声(事件、场景)。音频基础模型将各类音频统一为"可理解输入"。

技术要点

技术:音频编码器(频谱→特征)+语言模型(Qwen-Audio 范式)、音频事件检测(AudioSet)、声学场景分类、多任务指令(识别+描述+问答);评测:语音识别/事件/场景/情绪多基准。

应用场景

用于智能音箱(环境感知)、会议系统(说话人与事件)、安防(异常声音)与无障碍(音频描述);音频理解是多模态"听觉"的基础。

返回AI百科目录 · AI最前沿首页

相关词条:扩散模型 · 视觉编码器 · 语音合成 · 视频编辑 · 音乐理解