视觉语言指令微调

英文:Visual Instruction Tuning 分类:multimodal

基本释义

用图文指令数据微调视觉-语言模型,使其能遵循多模态指令(看图问答、引用、编辑)的范式。它是 LLaVA 类模型的训练核心。

技术要点

数据:图文问答对(GPT-4V 生成)、引用/区域指令、多轮对话;流程:视觉编码器+投影层+LLM 冻结预训练→指令微调全参/轻量(LoRA);评测:MMBench、MM-Vet 等多模态基准。

应用场景

用于构建多模态助手(ChatGPT-4V 类)、具身智能指令训练与文档/图表智能体;视觉指令微调是"多模态对齐"的标准化流水线。

返回AI百科目录 · AI最前沿首页

相关词条:扩散模型 · 视觉编码器 · 语音合成 · 语音-语言模型 · 图文对齐