World Action Models are Zero-shot Policies

2026/8/20

来源：arxiv2602

Takeaway Message：DreamZero 想解决的是一个很核心的问题：当前 VLA 虽然继承了 VLM 很强的语义泛化能力，但它真正学会的"物理技能"仍然高度依赖机器人示范数据，遇到训练中没有出现过的新动作时往往无法执行。DreamZero 的关键思路是把机器人策略建立在预训练视频生成模型而不是 VLM 上，让模型同时预测"未来世界会怎样变化"和"机器人应该采取什么动作"，从而把互联网视频中学到的时空、运动和物理先验真正引入机器人控制；作者把这一类模型称为 World Action Model（WAM），并用 DreamZero 证明它可以从高度多样、非重复的机器人数据中学习，在未见任务、未见环境以及跨 embodiment 的场景中表现出传统 VLA 较弱的 zero-shot physical skill generalization。

这篇论文的出发点其实是对当前 VLA 泛化能力的一次重新审视。RT-2、π0.5、GR00T 一类 VLA 通常从大规模 VLM 初始化，因此它们天然具备很好的视觉语义和语言知识。例如一个模型可能从互联网预训练中知道什么是 Coke、谁是 Taylor Swift，即使机器人数据里没有出现过某个特定对象组合，它也可以把新的语言和视觉对象映射到已经学过的 pick-and-place skill 上。问题在于，这种泛化主要发生在"what"这一层，而不是"how"这一层：模型知道要操作哪个东西、任务语义是什么，却不一定知道一个从未在机器人数据里出现过的 physical motion 应该怎样执行。例如，如果机器人数据里完全没有"untie shoelace"这种运动，仅靠静态 image-text 预训练得到的 VLM prior 很难告诉机器人手应该如何运动，因为静态 VLM 主要编码物体、语言与语义关系，而没有直接学习世界随时间演化时的 geometry、dynamics 和 interaction。作者因此认为，当前 VLA 的一个根本瓶颈在于：它们用一个主要从静态数据中预训练出的 foundation model，去解决本质上高度时序化的 physical control 问题。

DreamZero 的核心洞见正是在这里发生转折：既然机器人控制的问题不仅是"看懂当前场景"，更是"理解一个动作执行后世界接下来应该怎样变化"，那么相比静态 VLM，视频生成模型可能是更自然的机器人 foundation model。一个经过海量互联网视频预训练的 video model，不只是见过大量物体，也见过人如何拿起杯子、拉开抽屉、熨衣服、握手、使用工具，以及物体在力和接触作用下怎样运动。它未必拥有严格意义上的显式动力学模型，但其参数中已经包含了大量关于 temporal dynamics 和 physical interaction 的统计先验。DreamZero 就是在 Wan2.1-I2V-14B 这样的预训练 image-to-video diffusion model 上构建机器人策略，而不是从 VLM 出发。作者因此把 WAM 与传统 latent world model 也区分开来：Dreamer 一类 world model 往往从机器人或环境交互数据中重新学习 latent dynamics，而 DreamZero 希望直接继承 web-scale video model 已经获得的世界动态知识。视频预测在这里不再只是一个辅助 loss，而是充当一种 implicit visual planner：语言告诉模型目标是什么，视频生成能力预测"如果任务成功，接下来世界应该怎样变化"，机器人动作则与这个 visual future 对齐。

这个思想在论文的概率分解里表达得很清楚。DreamZero 输入当前及历史视觉观测 (o_{0:l})、语言指令 (c) 和机器人 proprioceptive state (q_l)，同时预测未来一段视频 (o_{l:l+H}) 和动作 (a_{l:l+H})。作者把联合分布写成"未来视频预测 × inverse dynamics"两部分，也就是先有 [ \pi(o_{l:l+H}\mid o_{0:l},c,q_l), ] 描述在当前世界和语言目标下未来视觉状态应该怎样演化，再有 [ \pi(a_{l:l+H}\mid o_{0:l+H},q_l), ] 根据包括未来视觉状态在内的信息恢复对应的机器人动作。这里不要把它机械理解成测试时真的先完整生成一段视频，再送进另一个独立 IDM；论文反而强调 DreamZero 不是两个串联网络，而是一个端到端模型同时学习 video 和 action，两种 modality 在同一个 backbone 内部深度耦合。这个概率分解更多是在说明它的学习逻辑：预训练视频模型负责提供"world evolution prior"，机器人数据真正需要补足的关键能力之一是"从这种视觉变化映射到这个 embodiment 的 motor command"，也就是 inverse dynamics。

具体结构上，DreamZero 尽量少改预训练视频模型。视觉经过 VAE 编码成 latent，语言经过 text encoder，proprioception 经过 state encoder，然后进入一个 autoregressive DiT backbone，最后分别解码未来视频和 action；新增的主要只是 state encoder、action encoder 和 action decoder，即使有多个 camera view，作者也只是把它们拼成一张 frame，而没有重新设计复杂的 multi-view architecture。这里真正重要的结构选择是 autoregressive。普通视频 diffusion 常见的是在一个固定时长的视频窗口内做 bidirectional denoising，但 DreamZero 将视频按 chunk 组织，每个 chunk 对应固定数量的 latent frames，同时匹配一个 action horizon，然后沿时间 autoregressively 生成这些 chunks。作者选择 AR 的主要原因并不是它在单次预测准确率上明显更强，而是机器人控制本身天然是一个不断获得新观测的序列问题：AR 允许保存 KV cache、利用完整视觉历史，而且不需要为了固定视频长度而重新 subsample 原始 frame rate，因此视频和 action 的时间对齐可以保持得更精确。值得注意的是，作者明确说 autoregressive modeling 主要用于 video modality，而不是让 action 本身无限自回归地滚下去，这也是为了避免 closed-loop action error 的累积。

训练时，DreamZero 使用 flow matching 同时学习 video latent 和 action 的去噪。可以暂时不用陷入具体 flow-matching 公式，只需要抓住训练样本的结构：第 (k) 个 chunk 的视频 latent 和 action 都被加入噪声，模型需要在语言、proprioception 以及前面干净历史 chunks 的条件下，将当前 noisy video/action chunk 一起 denoise 回来。标准 DreamZero 初始训练时让 video 和 action 共享同一个 diffusion timestep，也就是说两者处于一致的噪声强度；同时使用 teacher forcing，所以训练第 (k) 个 chunk 时，前面提供给模型的是 ground-truth clean history，而不是模型自己先前错误生成的历史。为了能把整个 trajectory 并行组织起来训练，作者通过 attention mask 限制信息流，让当前 noisy chunk 能看到过去的 clean context，而不能看到不该访问的未来信息。这样一来，DreamZero 实际是在整个机器人轨迹上学习一个"过去真实视觉历史 → 当前未来视频与动作联合预测"的 conditional generative policy。

这种建模方式进一步改变了作者对机器人数据的看法，这其实是全文非常关键的一条主线。传统 imitation-based VLA 往往强调一个 task 要采很多次高质量、结构化、相对一致的 demonstration，因为它直接学习 observation-to-action mapping；如果数据非常杂，一个状态只出现一次、动作分布高度多样，模型很难稳定地学到正确控制策略。DreamZero 的假设恰恰相反：既然"未来世界大概应该怎样运动"已经大量存在于视频 foundation model 中，机器人训练阶段更加核心的是学习不同视觉动态和这个机器人 action space 之间的对应关系，因此 diversity 比 repetition 更重要。基于这个思路，他们在 AgiBot G1 上收集了约 500 小时 teleoperation 数据，覆盖 22 个真实环境，包括家庭、餐厅、超市、咖啡店和办公室；整个数据集大约 7193 个 episode，平均一个 episode 长达 4.4 分钟、包含约 42 个 subtask。也就是说它不是传统的"pick cup 重复几百次"，而是长时间、开放式、多任务混杂的真实作业轨迹。

论文后面的 ablation 对这一观点提供了相当直接的证据：同样是 500 小时数据，使用 repetitive data 时 DreamZero 在 PnP Easy 上的 task progress 是 33%，换成 diverse data 后达到 50%。作者的解释是，视频预测能力很大程度上已经从预训练获得，机器人学习真正困难的部分之一是 robust inverse dynamics，而 IDM 恰恰需要看到尽可能多的"不同视觉状态变化 ↔ 不同动作"的对应关系，所以大量重复近似状态并不如扩大 state-action coverage 有价值。模型规模也出现了类似的趋势：5B WAM 是 21%，14B WAM 是 50%；作者观察到小视频模型更容易 hallucinate，而一旦 visual future 预测错误，后面的 action 也会跟着出错。反过来，他们把 VLA baseline 做大并没有解决在这种 heterogeneous data 上学习困难的问题。这个实验是全文一个很重要的暗示：WAM 的 scaling 可能和 VLA 不太一样，它不是仅仅因为模型更大而语言理解更好，而可能直接因为 video world prediction 更好而带来 action quality 提升。

不过把 14B video diffusion model 直接拿来控制机器人会立即遇到另一个现实问题：太慢。未经优化的 DreamZero 每个 action chunk 大约需要 5.7 秒，因为既有 14B DiT 本身的计算成本，又有多步 diffusion denoising。如果像普通 policy 一样"观测 → 等推理完成 → 执行动作 → 再观测"，机器人根本不可能实现实时控制。因此作者先从系统结构上把 inference 和 execution 解耦：机器人正在执行当前 action chunk 的时候，DreamZero 已经基于最新 observation 并行计算下一段 action。实验中 action control frequency 是 30 Hz，一个 chunk 有 48 step，因此一段动作可以持续 1.6 秒；这样模型不需要在 33 ms 内完成一次 14B 推理，而只需要在上一段 action chunk 被消耗完之前生成下一段。随后作者又做 CFG parallelism、DiT caching、torch.compile、CUDA Graph、kernel tuning 和低精度量化等一系列优化，最终把系统推理速度累计提高到最高约 38 倍，使 14B WAM 达到约 7 Hz 的 action-chunk generation rate。

这里最有方法意义的优化不是 CUDA kernel，而是 DreamZero-Flash。标准 DreamZero 训练时 video 和 action 使用同一个 noise timestep，所以模型学到的是"video 很 noisy 时 action 也很 noisy；video 接近 clean 时 action 也接近 clean"。但实际为了加速推理，如果把 diffusion 从很多步硬砍成 1 step，会出现一种训练时很少见的情况：当前 video latent 还非常 noisy，但机器人已经必须拿到接近最终值的 clean action。于是 video residual noise 会严重污染 action prediction。DreamZero-Flash 的解决办法是把 video 和 action 的 noise schedule 解耦：action timestep 继续均匀采样，而 video 刻意更多采在高噪声区域，让模型在训练时反复练习"即便当前预测视频还非常模糊，也要输出准确动作"。这样它就把 few-step inference 时真正遇到的 train-test mismatch 提前纳入训练分布。这个设计让普通 DreamZero 从 4-step 降到 1-step 时 task progress 从 83% 掉到 52%，而 DreamZero-Flash 的 1-step 还能做到 74%，同时将约 350 ms 的推理进一步压到约 150 ms。

DreamZero 的 autoregressive 视频生成还会带来通常 world model 都很头疼的 compounding error：如果上一段未来视频预测错了，下一段继续依赖这个错误视觉历史，误差会不断放大。但机器人系统恰好有一个纯视频生成不存在的优势——每执行完一段动作，就可以重新看到真实世界。因此 DreamZero 在在线闭环时并不会长期把自己生成的未来 frame 当作事实，而是在真实 observation 到来以后，用真实视觉重新更新 KV cache。也就是说，模型生成的未来视频主要服务于当前 action prediction；真实世界执行后，预测历史会被 observation 校正，再继续下一轮预测。作者认为这是 WAM 与普通 autoregressive video generator 一个很关键的区别：机器人环境本身不断给 world model 提供 ground-truth correction，所以可以利用 AR architecture 的历史建模能力，同时大幅减轻长期 rollout 的视觉误差累积。DreamZero 因而天然也是一个 stateful policy，理论上可以利用长视觉历史，不过作者也很谨慎地指出，本文并没有专门测试那些必须依赖长期 memory 才能完成的任务。

实验部分实际上围绕前面这些 hypothesis 展开，而不是单纯证明"DreamZero 比别人高几个点"。第一组问题是：这种 WAM 是否真的能从 diverse、non-repetitive robot data 里学到有效 policy？作者在 AgiBot G1 和 DROID-Franka 上与 GR00T N1.6 和 π0.5 比较，并且给 VLA baseline 同时设置从 VLM 开始训练和使用官方大规模 robot-pretrained checkpoint 两种版本；DreamZero 则从 video-pretrained backbone 开始，再使用同一批机器人数据训练。总体结果是，即使 pretrained VLAs 已经见过数千小时 cross-embodiment robot data，DreamZero 在未见环境和未见对象上的 task progress 仍明显更高。作者想强调的不是 DreamZero robot data 更大——事实上相反——而是 world-model pretraining 使高度异质的数据真正变得可利用。

更关键的是 unseen-task generalization，因为这直接对应论文标题里的 zero-shot。作者专门选了训练数据中不存在的 motion，例如 untie shoelaces、ironing、painting with brush、shake hands 等，而不仅仅是换一个杯子颜色或换一句语言描述。在 AgiBot G1 上，DreamZero 对这些 unseen tasks 的平均 task progress 达到约 39.5%，明显高于 pretrained VLA baseline；在 DROID-Franka 上也得到相同趋势。这并不意味着 DreamZero 已经可以"什么新任务都直接做"，它的绝对成功率仍然远没有达到可靠部署水平，但论文试图证明的是一种定性的能力变化：从 VLM 出发的 VLA 更容易泛化"对象和语言"，而从 video model 出发的 WAM 开始出现一定程度的"运动本身"的 zero-shot transfer。作者的 qualitative observation 也很有意思：一些 pretrained VLA 面对陌生任务时会习惯性地伸手、抓取，仿佛把所有 instruction 都投影回训练中占主导的 pick-and-place primitive；DreamZero 则更有可能生成与新 verb 对应的新运动。

这套 formulation 最自然的另一个优势是 cross-embodiment learning，因为视频是一个相对 embodiment-agnostic 的表示。另一个机器人执行"打开、擦拭、放置"时，它的 joint action 与 AgiBot 完全不同，人类更不存在直接可复用的 robot action label，但"任务成功后视觉世界怎样变化"仍然具有共性。因此作者分别采了约 20 分钟 YAM robot video 和 12 分钟 human egocentric video，而且这些 cross-embodiment 数据只使用 video prediction objective，不提供目标 AgiBot 的 action supervision。仅仅加入这么少的视频数据，就使 unseen-task performance 相对提升超过 42%。更进一步，他们把已经在 AgiBot 上预训练好的 DreamZero 迁移到一个新 YAM embodiment，只提供约 30 分钟 play data，也能得到具有一定 zero-shot generalization 的新 robot policy。这里背后的逻辑就是整篇论文从头到尾的同一个逻辑：world dynamics 和 embodiment-specific inverse dynamics 可以部分解耦，大量异构视频负责告诉模型"世界应该怎样变化"，少量新机器人数据负责告诉模型"我的身体怎样实现这种变化"。

因此，从整篇论文的故事来看，DreamZero 真正想推动的并不是简单的"video diffusion + action head"，而是机器人 foundation model 的另一条 scaling 路线。传统 VLA 的核心资产是 VLM 从 image-text 中获得的 semantic prior，因此非常擅长把新语言、新类别、新对象映射到已有技能；WAM 的核心资产则是 video foundation model 从时序数据中获得的 spatiotemporal prior，因此作者希望它能够把"互联网里见过但机器人示范里没见过的运动规律"迁移成新的机器人 skill。论文第一页 Figure 1 其实正是在把这条逻辑完整串起来：World Action Model 同时预测 future video 和 continuous action，由此希望获得四件事——更好利用 diverse/non-repetitive robot data、zero-shot unseen-task generalization、从其他 embodiment 的纯视频中学习，以及用很少的新机器人数据完成 embodiment adaptation。

这篇论文最值得重视的地方，同时也是它目前最明显的局限，是机器人策略的上限被非常直接地绑定到了 video prediction quality。DreamZero 的一个核心现象是：很多失败首先表现为模型"想象错了未来"，随后 action 往往反而忠实地把这个错误未来执行出来；因此作者认为更强的视频生成 backbone 很可能直接带来更强的机器人能力。这让 WAM 看起来有一条很诱人的 scaling path，但目前论文还没有真正建立 WAM 的 scaling law，只证明了 5B→14B、repetitive→diverse 这些有限尺度上的趋势；大规模 in-the-wild human video 是否真的可以持续转化为机器人 skill、跨 morphology 很大的 embodiment 是否仍然有效、长期 memory 和复杂闭环动态任务能否维持这种优势，也都还是开放问题。换句话说，DreamZero 目前更像是在提供一个很强的证据：机器人 foundation policy 不一定非要从"语言模型学语义，再学动作"这条路继续扩展，也可能从"视频模型学世界如何运动，再学习身体如何实现这种运动"这条路线扩展。对这篇论文来说，真正需要记住的不是某个 diffusion timestep 或 38× 优化数字，而是这个范式转变——它把机器人泛化问题从"如何覆盖更多机器人技能 demonstration"，重新表述成了"如何利用更强的 world prediction prior，并用有限机器人数据把 predicted future 对齐到 action"。