英文:Referring Expression Comprehension 分类:multimodal
从图像中找出指代表达所描述的目标对象(REC)。比一般视觉定位更强调对描述语义(属性、关系、代词)的精细理解。
技术:视觉-语言跨模态匹配、检测器+排序(候选框打分)、多模态大模型端到端输出;挑战:属性歧义("红色的球"多选)、空间关系("左边")、常识推理;基准:RefCOCO/RefCOCO+/RefCOCOg。
用于人机交互指认("那个蓝色的杯子")、自动驾驶目标指令、图像编辑与增强现实交互;REC 是"指哪打哪"的对话式视觉能力。