英文:Visual Instruction Tuning 分类:multimodal
用图文指令数据微调视觉-语言模型,使其能遵循多模态指令(看图问答、引用、编辑)的范式。它是 LLaVA 类模型的训练核心。
数据:图文问答对(GPT-4V 生成)、引用/区域指令、多轮对话;流程:视觉编码器+投影层+LLM 冻结预训练→指令微调全参/轻量(LoRA);评测:MMBench、MM-Vet 等多模态基准。
用于构建多模态助手(ChatGPT-4V 类)、具身智能指令训练与文档/图表智能体;视觉指令微调是"多模态对齐"的标准化流水线。