世界建模是跨任务可复用的独立能力吗？Northwestern、CMU等用仅2k样本跨领域提升22项基准，并给出训练配方

发布时间：2026-11-06T10:22:00+08:00　来源：机器之心　分类：tech

以多模态大模型为基座模型的系统，正在被要求跨领域、跨任务干活：看懂空间关系，规划具身动作，理解视频里的时序，判断一个物体会不会掉下来，等等。这些任务分属不同领域，研究也各管一摊，各有基准，各提方法，而一个领域里奏效的方法很少能搬到另一个领域去。

然而，这些任务都涉及到世界会怎样随动作变化，也就是人人都在谈的 “世界建模”。各下游领域记录下的失败，会不会都是世界建模这一个能力的缺失？鲜有工作对这一点做深入研究。

世界建模到底指什么？它是不是一个可以独立测量的能力，而不是空间、物理、具身、时序各自表现的叠加？如果能测，现在的模型有没有，学不学得会？学到的东西帮不帮下游任务？以及更深层的，它的角色到底是不是多样下游任务的底层能力而不是各 domain 表象的叠加？如果帮，该怎样训练它，才能对被需求的下游任务最有用？

来自 Northwestern、CMU、UNC Chapel Hill 和 Amazon 的团队，在论文《WOVEN: Weaving Visual World Modeling into Multimodal LLMs》里把这几个问题逐个深入探究：先把这个能力独立定义出来，再独立测量它、教会它，最后检验学到的东西能不能跨任务复用，以及什么样的训练数据才能让它复用。

论文：https://arxiv.org/abs/2610.12417

项目主页：https://woven-ai.github.io

代码：https://github.com/mll-lab-nu/WOVEN

数据：https://huggingface.co/datasets/MLL-Lab/WOVEN

一、人人都说世界建模，它到底指什么

世界模型这个词被用得很宽，不同工作有不同的定义。团队把它收窄到最核心的一层：状态转移。当前状态 s，一个动作 a，之后的状态 s′，世界模型就是对 p (s′ | s, a) 的估计。顺着这个定义，世界建模在本文里是一件可以精确控制、精确测量的事：给定一次转移 (s, a, s′) 里的一部分元素，推断没看到的那一部分。

空间、具身、物理、时序等多类任务，在这个结构下被统一为对同一个三元组做不同的查询。知道 s 和 a 求 s′，是预测动作的结果；知道 s 和 s′ 求 a，是判断发生了什么；换一个 a 问结果会怎样，是反事实；把一串中间状态排顺序，是时序。认知科学里早有对应：大脑里的正向模型和逆向模型，婴儿对重力、支撑、固体性这些核心物理知识的分阶段掌握，都是围绕 “动作怎样改变世界” 组织起来的。

相比较于 post-hoc 地解释，团队选择了更严谨的实验的顺序：先有一个不依赖任何下游任务的能力定义和测量，“模型缺不缺它”“学没学会它”“它能不能被不同形式的监督共同提升”“下游任务的变化是不是因为它” 才能分开回答，每一步都有自己的证据。

二、把世界建模做成可控的实验对象

为了细粒度地回答状态转移中各个元素的作用，得能对其中任意的元素做独立干预。真实视频做不到这一点：同一个场景里换一个动作会怎样，没有人拍过；同一个动作下受控地扰动场景，也没有人做过。团队的做法是把视频生成模型当成转移引擎：给定一帧初始画面和一条动作描述，生成之后发生的事；从同一帧出发换几个动作，就得到一组有真实对照的反事实轨迹。场景、动作、要求模型做的推理操作，由此变成多个可以各自调节的实验变量（例如 20 类场景、5 类动作、8 种推理操作可以独立地取值）。除此之外，每道题的错误选项还标了错误类型（例如 “左右反转”、“违背重力”，或 “物体朝向被扰动”），分析可以细到 “错在哪”。这就是 WOVEN，共 36K 道题的训练和测评基座。它为后续分析提供了良好的基础设施。

从同一个初始画面出发，执行四个不同的动作，得到四个不同的结果（反事实轨迹）

三、现在的模型缺的到底是什么

团队测了 38 个前沿模型，其中最强的 GPT-5.4 答对 65.8%，而人类 92.3%。比分数本身更有意思的，是差距的形状在所有模型家族里都一样；例如 “时序相邻判断” 类别最弱，停在 25%–28%，接近四选一的随机水平，同一批模型做时序排序却能到 63%；把物体换个颜色（外观扰动）模型基本不受影响，把物体换个位置或朝向（几何扰动）成绩就掉到 30%。

单靠规模解决不了这件事。在 Qwen2.5-VL 从 3B 到 72B 的梯子上，外观鲁棒性每十倍参数涨 31 个点，几何鲁棒性却只涨 9 个点；同一个 7B 模型，外观扰动下 50.5%，几何扰动下 23.5%，等于没学。现成的视频先验也不够：对 V-JEPA 2 和一个视频生成模型做最优读出，最高 47.7%。

团队还发现了一些其他有趣的结论，例如模型随规模掌握各条物理原则的顺序，和婴儿的习得顺序一致：最先过线的是重力和惯性，然后是内聚、恒存和容纳，再是支撑和固体性，最后是碰撞，该结论跨模型家族一致；38 个模型在碰撞上平均 31.4%，始终没过线。开源模型答错旋转题时，一半以上选的是镜像方向：知道在转，分不清左右。

共享的失败分布模式预示着这是一个训练问题，而不是哪家模型的癖性。

四、这个能力学得会吗，学得高效吗，能帮助下游任务吗

世界建模能力本身可以被独立学会。团队在 WOVEN 上后训练（SFT + RL）了多个大小和家族的不同模型，其中 Qwen2.5-VL-3B，域内准确率从 26.4% 到 89.3%，且没见过的场景上 88.2%，离人类的 92.3% 不远；7B、32B 和 Gemma 3 上一样成立。学习的效率也很高：同一个 Qwen3.5-4B 底座，用约 7 小时生成视频做后训练，在 3DSRBench 上的增益（+6.7）超过了用 12.5 万小时真实视频做 mid-training 的 Orca-4B（+4.0）。

学到的能广泛帮助下游任务。全集训练提升 12 个独立的外部测评基准，这些基准横跨物理理解、时序理解、具身操作、空间推理等多个领域；如果按照能提升同一个世界建模能力的不同受控子集分别的迁移结果取并集，被提升的外部独立测评基准的数量则提升到高达 22 个，尽管每个受控子集只有 2000 条数据。这些 zero-shot 正向迁移最高可达 27.3 个点。

五、世界建模是底层能力，还是任务效应的堆叠

22 个基准涨了，会不会只是 WOVEN 的不同部分各自帮了内容相近的任务，凑在一起显得覆盖很广？“共同底层能力” 要成立，得同时满足两条。

第一条，不同形式的监督源需要能够练出同一个能力。团队对训练结果做了详尽分析。11 个受控子集，每一个都提升了它从没训练过的动作类型（例如只用相机运动的数据训练，物体操作题 +39.8，导航题 +26.9）。训练之后，同一次转移的正向题和逆向题开始 “同对同错”，逆向题能从模型自己预测的结果反推出动作的比例从 19% 升到 45%–94%。也就是说，模型学的是一个统一的 “状态–动作–结果” 映射，不是两套各自的技巧。

第二条，下游收益需要的确来自这个能力（而不是各形式监督源训练效应的叠加）。11 个子集在 26 个基准上的迁移曲线两两全部正相关；一个子集把世界建模能力提升得越多，它在外部基准上的平均增益越大，r = 0.86。4 个静态感知和通用视频 QA 基准在任何训练下都不涨，所以不是 “模型整体变强”。团队做了更硬的一组对照：他们构造了一个 “虚拟世界”，在这个 “世界” 里，动作和结果的对应关系遵循固定但错误的关系（例如：往左转总是导致看到在右侧的物体），同时保持其他所有条件不变（例如图文模态和问题格式），并做了相同的训练。结果是：模型在这个 “虚拟” 的测试集上把这套错误规则学得很好（85%–92%），下游基准却在同等训练条件下一个都不涨。这证明，下游获得的涨分依赖模型学习到正确的转移规律。

最后，团队做了更直接的因果干预。固定训练预算，把下游任务自己的训练数据中相当大的比例 （30%–50%）用 WOVEN 的数据替代，训练后在对应下游测评，结果准确率可以保持相当，并且高于单纯删掉这部分数据的对照（因此并非域内数据量饱和）。转移监督顶替了下游任务原本要从自己数据里学的那部分。

用 WOVEN 替换下游任务自身训练数据的一部分（蓝线），对比直接删掉这部分数据（橙线），三个下游任务分别为 SAT、ActionEQA、CLEVRER，横跨三个不同 domain

六、怎样训练它才对下游普遍有用：学什么比看什么重要

团队进一步探索一个更有用的问题：既然世界建模可以直接训练并可以帮助多种下游任务，那如果想提升特定下游任务，该事先挑什么样的转移监督来训练世界建模这个底层能力，以便于获得最大的增益？

直觉的答案是挑 “像” 的：场景像、动作像、领域像。然而令人意外的是，实验结果不是这样。去掉共同迁移成分之后，教同一种推理操作的子集之间，下游收益的相关性（+0.32）远高于只共享动作类型的子集之间 （−0.22），而后者和什么都不共享的子集（−0.23）没有区别。

也就是说，转移里 “做了什么动作” 不决定这份数据会帮到谁，“要对转移元组做什么推理” 才决定。

除此之外，团队总结了其他的结论：要鲁棒性，优先选视觉状态变化更大的监督；时序任务和主体驱动的任务要直接监督；主动动作（agent driven）和被动动作（physics driven）之间没有明显迁移；状态转移之外的能力，比如静态感知，无法作为下游任务从状态转移的监督中获益，需要另给监督。

以上构成了团队提出的 “训练配方”；然而，这些配方是从已有结果里提炼的，所以团队又做了一次前瞻性验证：先按配方配好训练数据，再在推导配方时完全没用过的 7 个基准（MMSI-Bench、VLM4D、PhysBench、SPAR-Bench、MVBench、IntPhys 2、CameraBench）上测，并使用多达 8 个随机种子。五组比较的方向全部和配方预测的一致：主体动作类问题上，按配方配的混合比其他配法显著更高（p ≤ 0.03）；被动物理类问题上，则如配方所预测，被动物理为主的混合反而更好。一套规律能不能预测没见过的结果，比它能不能解释已有结果要紧。

11 个子集迁移曲线的两两相关。左：原始相关全部为正；中：去掉共同成分后按动作类型分组，看不出结构；右：按推理类型分组，结构显现

七、这套做法能带走什么

把这篇论文的流程抽出来，是以下流程：为了探索世界建模是不是一个独立于下游任务的能力，先把它的变量拆开，让每个元素可以各自变化，以提供干预实验基础设施；然后用跨域测试、错误规则对照和因果干预把表面相关性排掉；用严谨的因果干预和统计分析隔离 “底层能力” 和 “效果堆叠”；对提出的训练配方，用没见过的任务上做前瞻验证。每一步有自己的证据，结论不靠一个分数撑。

对训练系统来说，这意味着世界建模可以按推理操作来组织，而不是按任务、领域、动作或场景的类型来堆。这对更加高效地训练更加智能的系统带来启发。

当然，可迁移不等于无条件迁移。时序任务、主体驱动的任务、静态感知，都是转移监督难以直接帮上或者帮得有限的地方，论文把这些边界和正向结果放在一起报告。配方因此是能指导数据选择的具体规则，而不是一句 “合成数据有用”。

关于团队

本文来自 Northwestern MLL Lab 与 CMU、UNC、Amazon 的合作团队，作者包括 Zheyu Fan、Yue Zhang、Mingkai Deng、Kangrui Wang、Qineng Wang、Canyu Chen、Jie Hao、Xing Fan、Chenlei Guo、Eric Xing、Mohit Bansal、Manling Li。

原文链接：https://www.jiqizhixin.com/articles/d2139ee7-9ea5-4638-b320-67f07700d093

更多AI行业深度分析，请访问 AI最前沿（aiforefront.cn）。