指代表达理解

英文:Referring Expression Comprehension 分类:multimodal

基本释义

从图像中找出指代表达所描述的目标对象(REC)。比一般视觉定位更强调对描述语义(属性、关系、代词)的精细理解。

技术要点

技术:视觉-语言跨模态匹配、检测器+排序(候选框打分)、多模态大模型端到端输出;挑战:属性歧义("红色的球"多选)、空间关系("左边")、常识推理;基准:RefCOCO/RefCOCO+/RefCOCOg。

应用场景

用于人机交互指认("那个蓝色的杯子")、自动驾驶目标指令、图像编辑与增强现实交互;REC 是"指哪打哪"的对话式视觉能力。

返回AI百科目录 · AI最前沿首页

相关词条:扩散模型 · 视觉编码器 · 语音合成 · 视觉定位 · 视频描述