RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control

26/7/19

来源：CoRL23

Takeaway message： RT-2 的核心贡献不是重新设计一种复杂的机器人控制架构，而是提出了一个非常直接的统一范式：把机器人动作离散化成类似文本的 token，让原本用于图像理解和语言生成的大型视觉语言模型，直接输出可以驱动机器人的低层动作。这样一来，机器人不再只是借助大模型做高层规划，而是能够把互联网视觉语言预训练得到的语义知识、常识和推理能力，迁移到端到端闭环控制中。

RT-2 想解决的根本问题是机器人数据与互联网数据之间巨大的规模差距。传统机器人策略通常只在有限的真实机器人轨迹上训练，因此可以学会抓取、移动、放置等动作，却很难理解训练数据中没有出现过的物体、符号、语言表达和语义关系。大型视觉语言模型则恰好相反：它们看过海量图片和文本，知道"草莓属于水果""岩石可以当锤子""数字 3 是一个视觉符号"，但它们通常只能输出文字，不能直接控制机械臂。此前很多工作因此采用分层方案，让语言模型负责把任务拆成"抓取物体""放到容器"等高层技能，再交给独立的低层控制器执行。RT-2 的关键问题是：能否让这些互联网规模的视觉语言知识直接进入低层机器人策略，而不只停留在高层任务规划中。

作者给出的答案非常简单：把"动作"也视为一种语言。RT-2 接收当前机器人相机图像和语言指令，模型的输出不再只是自然语言，而可以是一串表示机器人动作的 token。论文中的机器人动作包括末端执行器三维位置增量、三维旋转增量、夹爪状态，以及一个表示任务是否结束的离散变量。连续动作维度分别被均匀离散成 256 个区间，因此一次动作可以编码成若干整数，例如一串类似"1 128 91 241 5 101 127"的 token。模型生成这些 token 后，系统再把它们反解码成真正的机械臂控制命令。论文第 2 页的总体架构图清楚展示了这一过程：互联网视觉语言数据与机器人轨迹数据共同训练同一个模型，部署时模型根据图像和任务输出动作 token，再将其还原成机器人动作，用于闭环控制。

这里最重要的并不只是动作离散化，而是语言任务和机器人任务真正共享了同一套模型参数和输出接口。作者分别从 PaLI-X 和 PaLM-E 两个大型视觉语言模型出发，得到 RT-2-PaLI-X 和 RT-2-PaLM-E。对于普通视觉问答样本，模型继续输出自然语言；对于机器人样本，输入被组织成类似"机器人为了完成某任务，下一步应该采取什么动作"的问答格式，输出则是一串动作 token。由于动作与语言都通过同一个自回归 token 生成器产生，因此模型不需要额外增加一个专用动作头，也不需要把视觉语言模型冻结后再接一个独立控制网络。RT-2 所说的"Vision-Language-Action Model"，本质上就是把原来的 vision-language-to-text 模型扩展成 vision-language-to-text-or-action 模型。

训练方法上，论文特别强调 co-fine-tuning，也就是联合微调。作者并不是只用机器人数据微调预训练模型，而是把机器人轨迹和原始互联网视觉语言任务混合在一起继续训练。这样做的原因是，单独在机器人数据上微调容易让模型遗忘预训练期间学到的视觉概念、语义关系和语言能力；继续混入图像描述、视觉问答等网络数据，可以让模型在学习动作映射的同时保留原有知识。消融实验表明，从头训练大模型的表现很差；只在机器人数据上微调虽然可以工作，但泛化能力不如联合微调；而模型规模从 5B 增加到 55B 后，泛化能力还会进一步提高。换句话说，RT-2 的能力不是单纯来自更大的行为克隆模型，而是来自预训练知识、机器人动作监督以及联合训练机制三者的结合。

在推理时，RT-2 还需要解决一个工程问题：语言模型可以自由生成任意 token，但机器人只能执行合法动作。因此，在机器人控制模式下，作者限制模型的输出词表，只允许它从预先定义的动作 token 中采样。这种 constrained decoding 保证生成结果始终能够被解析成有效动作。不过，由于模型体量很大，RT-2 并不是在机器人机载计算平台上运行，而是部署在多 TPU 云服务中，机器人通过网络请求推理。55B 模型的控制频率约为 1–3 Hz，5B 模型约为 5 Hz。这说明 RT-2 更接近语义驱动的桌面操作策略，而不是需要几十或几百赫兹控制频率的底层力矩控制器。

从控制层级来看，RT-2 虽然被称为"直接输出低层动作"，但这里的低层并不是关节力矩或高频关节位置，而是末端执行器的笛卡尔位姿增量。模型每次根据图像重新输出一个动作，机器人执行后再次观察环境，因此构成视觉闭环。它与"LLM 先生成完整计划，再调用预定义技能"的方案不同，因为 RT-2 的语义理解和动作生成存在于同一个模型中；但它也没有完全替代机器人底层控制系统，末端位姿命令最终仍然需要由传统控制器转换为机器人关节运动。

RT-2 最直接的实验结果是泛化能力显著提升。作者使用了与 RT-1 相同的机器人数据，这些数据由 13 台机器人在 17 个月内采集，主要发生在办公室厨房环境，任务包括抓取、移动、开关抽屉和将物体放入容器等。对于训练分布内任务，RT-2 与 RT-1 的成功率相近，这意味着大模型并没有简单地把已见动作做得远远更好；真正明显的优势出现在未见物体、未见背景和未见环境上。论文报告，RT-2 在这些泛化测试中的平均表现约为 RT-1 和 MOO 等主要基线的两倍，也远高于只使用预训练视觉表征的策略。这个结果说明互联网预训练最主要的作用不是提高机械动作精度，而是帮助机器人识别和理解训练数据之外的场景。

论文中所谓的"涌现能力"，也应当从这个角度理解。RT-2 并没有因为看过互联网图片就突然学会新的机械运动，而是能够把已有的抓取和放置技能应用到新的语义条件上。例如，"把苹果移动到数字 3""把可乐罐放到心形图标上"要求模型理解数字和图标；"把苹果移动到相同颜色的杯子旁边"要求进行属性匹配；"把物体移动到二加一对应的位置"涉及简单计算；使用西班牙语下达指令则要求多语言理解。论文还测试了"把可乐罐移动到戴眼镜的人旁边"等涉及人物属性的任务。RT-2 在符号理解、语义推理和人物识别三个类别上都显著优于 RT-1，其中最佳模型的平均成功率超过下一名基线的三倍。

这些能力之所以值得关注，是因为相应概念并没有出现在机器人轨迹中。例如机器人训练数据里未必有"数字 3""心形图标"或者"与其他物体不同的物体"这样的控制任务，但视觉语言预训练已经让模型获得了这些概念。机器人数据教会模型"如何抓取和移动"，互联网数据则告诉模型"应该抓什么、为什么抓、放在哪里"。RT-2 实际上完成了知识和技能之间的组合：物理技能来自机器人示范，任务语义来自视觉语言预训练。

论文还初步尝试了 chain-of-thought 式的动作生成。作者在少量数据中将输出格式改成"Plan + Action"，让模型先用自然语言描述当前动作目的，再输出动作 token。例如面对"我饿了"，模型先生成"计划：抓取巧克力能量棒"，然后生成对应动作；面对"我需要钉钉子"，模型先判断场景中的石头可以作为临时锤子，再执行抓取。这个设计把高层语义推理与低层动作输出放进同一个自回归序列中，相当于模型先生成一个显式的中间语义变量，再生成控制命令。不过论文对此主要提供定性案例，并没有证明自然语言思维链一定能够稳定改善闭环控制性能，因此它更像是一个方向性探索，而不是 RT-2 的核心实验结论。

理解 RT-2 时最容易产生的误区，是认为互联网预训练让机器人获得了全新的运动技能。论文对此其实非常谨慎：RT-2 的动作能力仍然受机器人训练数据分布限制。模型可以理解"把快掉下桌子的袋子拿起来"，但前提是它本来已经通过机器人数据学会抓取和移动袋子；它可以理解"用石头当锤子"，但它并没有真正学习敲钉子的动力学动作，只是会把石头抓起来。因此，RT-2 迁移的是语义、视觉概念和任务选择能力，而不是新的接触技能或运动轨迹。论文中的一句核心判断可以概括为：它没有学会新的动作，却学会了以新的方式使用已有动作。

这篇文章的历史意义大于其具体结构创新。动作 token 化本身并不复杂，RT-1 已经采用过离散动作 Transformer；大型视觉语言模型也已经存在。RT-2 的真正贡献是证明了二者可以通过统一 token 接口直接结合，并且这种结合确实能够把网络知识迁移到真实机器人闭环控制中。它因此确立了后来 VLA 模型的一条基本路线：使用视觉语言模型作为主体，将机器人动作编码为 token 或连续表示，再在互联网数据和机器人数据上联合训练。后续很多工作虽然在动作表示、连续动作生成、动作分块、推理速度和开源数据方面进行了重大改进，但仍然延续了 RT-2 提出的基本思想。

从今天的角度看，RT-2 的局限也非常明显。首先，它的控制频率只有 1–5 Hz，且依赖云端 TPU，实时性、网络稳定性和部署成本都不理想。其次，离散化单步末端动作比较适合慢速桌面操作，却不适合高动态机器人或需要高精度连续控制的任务。第三，训练数据集中在单一机器人和办公室厨房场景，物理技能的多样性不足。第四，论文最亮眼的推理案例有一定挑选性，复杂推理和长时序任务仍缺乏系统验证。最后，RT-2 是闭源的大模型和数据体系，外界很难完整复现其训练效果。

总体而言，RT-2 的故事可以归结为一个非常清晰的转变：过去的大模型主要负责"理解任务"，机器人策略负责"执行动作"；RT-2 则尝试让同一个模型同时完成理解和执行。它证明了互联网视觉语言知识可以越过高层规划接口，直接影响机器人每一步动作的选择。它并没有解决机器人基础模型的全部问题，但第一次非常有说服力地展示了 VLM 可以自然演化为 VLA，也因此成为后来通用机器人策略研究的重要起点。