π0.5: a Vision-Language-Action Model with Open-World Generalization

2026/7/2

来源：arxiv2504

Takeaway Message

π0.5 的核心贡献并不是提出了一种新的 Vision-Language-Action 模型，而是提出了一套新的训练范式。作者认为，机器人之所以无法真正走向开放世界，并不是模型容量不够，而是学习到的知识来源太单一。因此，他们把机器人操作数据、其他机器人数据、互联网视觉语言知识、高层任务规划以及语言示教统一到同一个 VLA 中进行联合训练，使机器人能够第一次在完全陌生的家庭环境中，仅根据一句高层指令，连续完成长达十几分钟的复杂整理任务。

Background

过去几年，VLA 的发展速度非常快。从 RT-2 到 OpenVLA，再到 π0，人们已经证明了视觉、语言和动作可以统一到同一个 Transformer 中进行端到端学习，机器人也开始能够执行越来越丰富的操作任务。然而，作者指出，这些工作的成功大多建立在一个隐含前提之上：测试环境与训练环境十分接近。机器人也许能够学会打开抽屉、拿起杯子、放置盘子，但真正进入一个从未见过的家庭后，它面对的不只是新的物体，更是新的房间布局、新的家具组合以及新的任务组织方式。对于"整理厨房""整理卧室"这样持续十几分钟的复杂任务，仅靠不断扩大机器人演示数据，很难覆盖现实世界近乎无限的变化。因此，开放世界泛化并不是一个简单的数据规模问题，而是一个知识来源的问题。

作者用一个非常自然的类比解释了自己的思路。一个人第一次进入陌生家庭，也能够完成整理，并不是因为以前见过所有厨房，而是因为他的知识来自很多地方：自己做过类似事情、看过别人怎么做、阅读过相关知识，也理解各种物体和生活常识。机器人却几乎只依赖一种知识来源——机器人示教数据。因此，真正应该解决的问题，不是继续采集更多机器人轨迹，而是让机器人像人一样，从各种不同类型的数据中共同学习。这便构成了 π0.5 最重要的思想：机器人的数据只是知识来源之一，互联网视觉语言数据、其他机器人平台的数据、高层语义知识乃至人类语言指导，都应该成为训练机器人能力的重要组成部分。

Technique

围绕这一思想，作者重新设计了整个训练流程。整个模型始终保持统一的 Vision-Language-Action 架构，但训练过程中同时学习来自多种任务和多种模态的信息。机器人不仅学习如何产生控制动作，还学习识别物体、理解图像、回答问题、定位目标、理解语言描述，以及把一个复杂任务拆解成多个更容易执行的小任务。这样做的目的，并不是希望机器人在部署时去回答视觉问答，而是希望这些来自互联网和其他机器人的知识能够迁移到机器人决策过程中，使机器人具备更丰富的视觉理解能力、语义理解能力和任务规划能力。当真正执行任务时，机器人首先根据当前环境判断"下一步应该做什么"，再进一步生成具体控制动作，因此长时间任务不再只是连续执行动作，而是不断进行语义推理和动作执行之间的循环。

这种训练思想最终带来的能力，与过去许多 VLA 工作有着明显区别。论文展示的机器人并不是完成一个单独的抓取动作，而是在完全陌生的住宅中，根据"整理厨房"或"整理卧室"这样极其抽象的目标，自主完成放盘子、收衣服、整理床铺、关闭柜门、擦拭桌面等多个连续子任务，整个执行过程持续数分钟甚至十几分钟，中间不需要人为重新规划下一步动作。更重要的是，这些家庭、家具布局以及大量物体都没有出现在训练数据中，说明模型获得的并不是某些固定场景的记忆，而是一种能够迁移到新环境中的行为能力。

Experiment

实验部分实际上是在验证作者提出的整个训练范式是否真的有效。作者发现，随着训练中家庭环境数量不断增加，机器人在新家庭中的表现持续提升；而当训练过程中去掉其他机器人数据、高层语义监督或者不同来源的数据时，泛化能力都会明显下降。这说明，开放世界能力并不是来自某一种特殊模型结构，而是真正来自异构知识之间的相互补充。尤其值得注意的是，跨机器人平台的数据贡献非常明显，说明许多操作技能本身具有良好的可迁移性，只要训练方式设计合理，不同机器人之间也能够实现有效的知识共享。

Difference between Pi-0.5 & Pi-0

如果只看模型结构，π0.5 与 π0 的区别其实没有想象中那么大。 作者几乎没有重新设计整个 Vision-Language-Action 架构，而是在 π0 的基础上保留了绝大部分网络结构，包括 SigLIP + Gemma 的 VLM backbone、Flow Matching 的动作生成方式以及 Action Expert。论文甚至明确说明，post-training 阶段就是建立在 π0 的设计之上进行扩展。因此，与其说 π0.5 是一个新的模型，不如说它是 π0 + 新的训练方式 + 新的推理方式。

模型最直接的变化，是输出空间发生了扩展。在 π0 中，模型的目标几乎只有一个——根据视觉和语言生成连续机器人动作。而 π0.5 希望一个模型同时完成机器人控制、视觉理解和语义推理，因此除了动作之外，还能够输出文本。例如，它可以回答视觉问答、生成图像描述、预测目标物体的位置，更重要的是，它能够输出当前应该执行的高层子任务（subtask），例如"pick up the plate"或"open the drawer"。论文将整个模型表示为两个条件分布的组合：先根据当前观测和任务指令预测一个语义子任务，再根据这个子任务预测连续动作。因此，动作不再直接依赖用户最初的指令，而是依赖模型自己推理出来的下一步目标。

真正体现 π0.5 思想变化的，是推理流程从单层决策变成了层次化推理（Hierarchical Inference）。π0 可以理解为直接完成"观测→动作"的映射，而 π0.5 在中间增加了一层语义推理。机器人接收到一句"Clean the kitchen"之后，并不会立刻输出关节动作，而是首先判断"现在应该完成哪个子任务"，例如先拿起盘子、再打开抽屉、最后关闭柜门；随后，Action Expert 再根据这个子任务生成连续控制动作。值得注意的是，这并不是像很多工作那样使用一个 VLM 做规划、另一个 Policy 做控制，而是同一个 Transformer 同时承担高层推理和低层控制两种角色。作者专门强调，高层和低层推理共享同一套模型权重，只是在不同阶段输出不同类型的结果，这种方式更接近大语言模型中的 Chain-of-Thought：先生成中间推理，再生成最终答案。

另一个重要变化其实发生在训练流程，而不是模型本身。π0 从一开始就是利用 Flow Matching 学习连续动作，而 π0.5 则将训练拆成两个阶段。第一阶段，所有机器人动作都先离散化为 FAST token，与图像描述、视觉问答、目标检测等任务统一成标准的 next-token prediction，使模型能够高效地学习各种异构数据；第二阶段，再加入 Action Expert，把连续动作预测重新引入模型，恢复 Flow Matching，从而获得适合实时机器人控制的连续动作输出。这样做的原因很简单：离散 token 更适合大规模联合预训练，而连续动作更适合机器人部署，因此作者希望兼顾两者的优势。

除此之外，还有一些为了支持联合训练而进行的小幅修改。例如，π0.5 同时输入图像、文本和连续动作，因此注意力机制不再完全采用传统 LLM 的 causal attention，而是允许图像、文本提示和连续动作之间进行双向注意力；同时，离散动作 token 与连续动作 token 之间通过 attention mask 隔离，避免两种动作表示相互影响。这些调整更多是为了支持新的训练方式，并没有改变整个网络的主体结构。

因此，如果从整体来看，π0 与 π0.5 的关系其实非常清晰。网络主体几乎没有变化，Action Expert、Flow Matching 和 Backbone 都被完整保留下来；真正发生变化的是模型开始能够输出语义子任务，引入了"先推理、再控制"的层次化执行流程，并围绕这一流程重新设计了整个联合训练方案。 也正因为如此，我认为 π0.5 的创新重点并不在模型架构，而是在它提出了一种新的 VLA 训练范式：利用统一的模型，把机器人控制、视觉理解和语义知识共同学习，并最终服务于开放世界中的机器人控制。这也是论文标题强调 Open-World Generalization，而不是强调一种全新的网络结构的原因。

Comment from GPT

我认为，这篇论文真正值得关注的地方，并不是它提出了某个新的模块，而是它重新定义了 VLA 的训练思路。过去大家更多把机器人学习理解为"收集机器人数据，然后训练机器人"，而 π0.5 提出的观点更接近今天大语言模型的发展路径：真正重要的是如何组织各种知识来源，让模型在统一框架下共同学习，再把这些知识迁移到机器人控制上。从这个角度来看，它讨论的已经不仅仅是 manipulation，而是一种更加通用的具身智能训练范式。

结合你目前的研究方向，我觉得这篇工作的启发非常大。你现在做的是四足机器人的视觉语言导航，希望利用语言、视觉和控制实现开放环境中的自主运动，而 π0.5 恰恰证明了一件事情：未来决定机器人能力上限的，很可能不是控制器本身，而是训练时能够利用多少种不同来源的知识。你的系统未来完全可以借鉴这种思路，把导航轨迹、VLN 数据、目标检测、视觉问答、地图理解甚至人类导航指令统一纳入训练，而不仅仅依赖四足机器人的运动数据。相比于论文中的具体网络结构，我认为这种"异构知识联合训练"的理念，才是 π0.5 最值得长期借鉴、也最可能影响未来具身智能发展的核心贡献。