英文:Audio Understanding 分类:multimodal
用模型理解音频内容:语音(内容、说话人、情绪)、音乐(旋律、结构)与环境声(事件、场景)。音频基础模型将各类音频统一为"可理解输入"。
技术:音频编码器(频谱→特征)+语言模型(Qwen-Audio 范式)、音频事件检测(AudioSet)、声学场景分类、多任务指令(识别+描述+问答);评测:语音识别/事件/场景/情绪多基准。
用于智能音箱(环境感知)、会议系统(说话人与事件)、安防(异常声音)与无障碍(音频描述);音频理解是多模态"听觉"的基础。