TANGO : Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model

2026/10/16

来源：arxiv2609

TANGO：Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model

Anqi Li, Yuxin Chen et al.，UC Berkeley、Peking University、NVIDIA、Princeton University 等，arXiv:2609.09158v2，2026.10

Takeaway Message

TANGO 研究的是如何让人形机器人在拥挤的三维环境中，根据自然语言指令自主调整全身姿态完成导航，而不是仅仅沿着二维路径行走。它的核心思想是将传统 VLN 的动作空间从二维轨迹提升到全身关节动作，通过 VLM + Flow Matching Action Expert 直接预测 29-DoF 全身运动，再由底层 Motion Tracker 保证物理可执行性。文章尤其值得关注的是其 Plan–Edit–Track（PET）自动化数据生成流程：利用规划器、运动编辑与强化学习运动追踪，在仿真中大规模合成具有避障能力的全身动作数据，从而实现无需真实导航训练数据的 Sim-to-Real 迁移。

正式导读

传统视觉语言导航（VLN）通常将机器人导航描述为一个二维路径规划问题：模型根据视觉观测和自然语言指令，预测下一步的运动方向、相对位移或未来路径点，再交给底层控制器执行。这种方式在轮式机器人、简化的导航智能体或相对开阔的环境中已经取得了不错的效果，但对于人形机器人而言，仅仅规划机身的二维运动轨迹是不够的。人形机器人具有复杂的关节结构，其身体所占据的空间会随着动作不断变化。例如，当机器人经过狭窄通道时，可能需要侧身行走；遇到较低的横向障碍物时，需要弯腰通过；面对地面障碍物时，则可能需要抬腿跨越。这些行为不仅取决于机器人应该走向哪里，也取决于机器人应该采用什么样的全身姿态。因此，一条在二维空间中可通行的导航路径，并不意味着机器人能够沿着这条路径完成无碰撞运动。

现有研究已经分别具备了解决这一问题所需的部分能力。一方面，以 InternVLA-N1、Uni-NaVid 等为代表的 VLN 模型已经能够理解复杂语言指令、识别视觉环境并生成长程导航轨迹；另一方面，人形机器人的 Whole-Body Control（WBC）和强化学习运动控制已经能够实现复杂的全身运动，包括避障、跨越和动态姿态调整。然而，两类能力之间仍然存在衔接问题。传统 VLN 通常输出二维轨迹或速度指令，并没有显式描述全身姿态；而面向复杂地形的运动控制方法虽然能够生成丰富的身体动作，却通常不具备长程语言导航能力。这使得导航模型可能规划出语义上正确、但身体无法执行的路线，而底层控制器也未必能够根据导航目标自主选择合适的全身运动方式。TANGO 的研究动机正是将高层语言导航决策与全身运动的几何可通行性结合起来，使机器人能够在理解目的地的同时，主动调整身体姿态以通过复杂环境。

作者由此提出 Traversability-Aware Vision-Language Navigation（TANGO），将人形机器人的语言导航建模为直接生成全身运动的 VLA 问题。不同于传统 VLN 输出二维 waypoint，TANGO 接收自然语言指令、前视与下视 RGB 图像以及机器人的本体感知状态，直接预测未来一段时间的全身关节角度和机身姿态，再交给低层运动追踪器执行。这样，模型不再只需要判断机器人应该朝哪个方向运动，还需要同时考虑手臂应该如何收缩、躯干应该如何弯曲、双腿应该如何迈步。换句话说，作者希望通过提高动作表示的表达能力，使语言理解、环境几何感知和全身运动规划能够在同一个学习框架中协同完成。

论文 Figure 2（第 5 页）展示了 PET 数据生成流程与 TANGO 的整体模型架构。

不过，要训练这样一个模型，首先面临的是全身导航数据的缺失。现有 VLN 数据集主要提供语言指令、视觉观测和二维导航轨迹，缺少与环境交互的全身关节运动；而传统的人体动作捕捉和机器人运动重定向不仅采集成本高，还存在人体与机器人之间的运动学差异。为了解决这一问题，作者提出了 Plan–Edit–Track（PET） 自动化数据生成流程，希望在不依赖真实机器人遥操作和动作捕捉的情况下，大规模获得兼具导航语义、避障行为和物理可执行性的全身运动数据。

PET 的第一步是 Plan，即根据起点、终点和场景障碍物，通过 A* 搜索生成二维导航路径，再将路径转换为速度指令，利用 SONIC 运动规划器生成自然的人形行走动作。对于狭窄通道，系统还会主动修改机身朝向，使机器人能够通过侧身行走穿过障碍。第二步是 Edit，即在初始行走动作的基础上，根据障碍物的位置和几何形状修改全身姿态。例如，通过障碍物势场产生的引导力调整手臂和躯干，通过修改脚步落点和摆动脚高度生成跨越障碍物的动作。第三步是 Track，即使用强化学习训练的 SONIC Motion Tracker 在物理仿真中追踪这些参考动作，验证其能否在满足动力学约束的同时避免碰撞，并过滤执行失败的轨迹。值得注意的是，最终用于训练 VLA 的动作标签并不是 Tracker 实际执行出来的轨迹，而是经过物理验证的参考动作。作者认为这样既能利用追踪器保证运动的可执行性，又能保留原始参考动作更加自然的运动结构。

在数据规模方面，作者从 VLNVerse 和 SAGE-3D 中筛选了 578 个室内场景，通过加入侧向障碍、地面障碍和顶部障碍，构建具有不同三维通行约束的导航环境。随后使用 PET 自动生成全身运动轨迹，并借助 Gemini 2.5 Flash 根据渲染的视觉轨迹生成自然语言导航指令，最终获得 64,633 条训练轨迹。整个 PET 数据生成与图像渲染流程总共消耗约 211 RTX PRO 6000 GPU-hours。这里的关键贡献不仅是扩大数据集规模，更是建立了一套从二维导航规划到全身动作生成，再到动力学可执行性验证的自动化监督数据构建方式，使原本依赖人工采集的全身导航行为能够通过仿真规模化合成。

有了训练数据后，TANGO 采用类似 Dual-System VLA 的架构，但进一步加入底层运动追踪器，形成 System-2、System-1、System-0 三个部分。其中，System-2 使用基于 Qwen2.5-VL-7B 的视觉语言模型，并以具有导航先验的 InternVLA-N1 权重进行初始化，负责理解自然语言指令、当前视觉环境与历史观测。作者使用前视与下视双摄像头获取环境信息，并通过 Budget-Aware Token Sampling（BATS）压缩长程视频历史，使模型能够在有限的视觉 Token 预算下同时保留近期几何信息和历史导航上下文。System-2 最终输出一个融合视觉和语言信息的隐含表示，为后续动作生成提供条件。

System-1 则采用基于 Flow Matching 的多模态 Diffusion Transformer（MM-DiT）作为 Action Expert，根据 System-2 提供的语义视觉表示和当前机器人本体状态，生成未来一段时间的全身动作序列。其核心输出包含 29 个关节目标角度以及机身姿态信息，训练时还加入相对平面位移和航向变化作为辅助动作表示。相较于普通 VLN 模型预测的二维运动轨迹，这种动作空间能够显式表达侧身、下蹲、抬腿跨越等复杂行为。为了避免不同动作块之间出现不连续，作者引入 Real-Time Chunking（RTC），在训练时让模型根据已经确定执行的部分动作预测剩余动作，使连续生成的动作块能够平滑衔接。最后，System-0 使用预训练的 SONIC Tracker，根据 Action Expert 输出的参考运动生成高频关节控制指令，在闭环控制中跟踪目标姿态。

这一架构需要特别澄清：TANGO 并不是由 VLA 直接向电机发送控制指令，也没有完全取消底层控制器，而是取消了传统 VLN 中独立的二维路径预测与运动规划接口。 VLA 负责生成具有任务语义和全身姿态信息的参考动作，底层 Tracker 仍然负责稳定性、动力学跟踪与实际关节控制。因此，它更准确地说是一种端到端学习的全身运动生成模型与通用运动追踪器相结合的方案，而不是完全意义上的端到端电机控制。

在真实机器人部署中，作者使用 Unitree G1 作为实验平台，并通过云边协同解决大模型推理与底层实时控制的频率差异。VLA 部署在配备 RTX PRO 6000 的服务器上，以 2 Hz 频率进行推理，每次生成一段 0.5 秒的参考动作；机器人本体上的 Jetson Orin NX 运行 SONIC Tracker，以约 200 Hz 完成底层控制闭环。通过动作插值和 RTC，系统能够在低频视觉语言推理与高频物理控制之间保持运动连续性。这使得 TANGO 可以在不依赖机器人本体运行完整 7B VLM 的情况下，实现连续的全身导航控制。

实验部分主要验证了三个问题：全身动作预测是否会损害传统 VLN 的导航能力，是否真正有助于复杂三维场景中的无碰撞通行，以及 PET 数据生成和 RTC 等关键模块是否有效。

首先，在标准 VLNVerse 导航基准上，TANGO 在 unseen 场景中取得了 52.89% 的 Success Rate，超过 InternVLA-N1 的 45.56% 和 Uni-NaVid 的 45.00%。更值得注意的是，TANGO 是这些对比方法中唯一使用真实底层物理控制执行动作的方法，其余模型按照原始基准使用 teleportation 进行评估。这说明直接生成全身动作并未明显削弱模型的语言导航能力，但由于执行方式不同，该结果也不能被理解为完全控制条件一致的比较。

其次，在加入侧向、地面和顶部障碍物的复杂场景中，作者将 TANGO 与 InternVLA-N1 配合传统 Unitree WBC、HumanoidPF 等模块化方案进行比较。TANGO 获得了 43.75% 的导航成功率以及 9.90% 的碰撞率，而最强的 InternVLA-N1 + HumanoidPF 基线分别为 41.88% 和 15.81%。这表明直接预测全身运动有助于提高复杂环境中的导航安全性，尤其值得注意的是，HumanoidPF 基线还额外使用了 LiDAR 几何信息，而 TANGO 的环境观测仅依赖 RGB 图像。

作者还通过消融实验进一步验证了方法设计的必要性。将全身动作退化为二维运动表示后，模型在真实物理执行条件下的导航成功率明显下降，说明传统低维动作表示难以完整表达复杂身体运动；移除 PET 中的 Motion Editing 后，碰撞率由 9.90% 上升至 20.60%，表明具有障碍交互特征的全身动作监督是模型学习避障的重要来源；而移除 RTC 后，成功率从 43.75% 下降至 10.94%，说明连续动作块之间的协调对于实际部署同样至关重要。真实机器人实验也验证了模型能够在未经真实导航数据训练的情况下，实现约 30 米的长程导航，以及侧身、下蹲和跨越障碍物等复杂行为。不过，实验场景和试验次数相对有限，尚不足以证明其在任意复杂真实环境中的泛化能力。

总体而言，TANGO 的意义在于尝试突破传统 VLN 将导航视为二维运动规划的范式，将机器人全身姿态及其几何可通行性纳入语言导航的动作预测过程。它的主要贡献可以归纳为两个相互支撑的方面：一是利用高维全身动作表示，将语言导航与全身运动规划结合；二是通过 PET 自动生成经过物理可执行性验证的动作监督数据，为训练这类高维动作模型提供可规模化的数据来源。文章也存在明确的局限：模型的实际运动能力仍受底层 Tracker 限制，例如复杂楼梯地形尚未解决；同时，纯 RGB 视觉输入在几何模糊、遮挡和低光照场景下可能难以提供足够可靠的空间信息。

结合我们正在研究的 Language-conditioned Foothold Prediction，TANGO 是一篇尤其值得重视的相关工作。 两者实际上都在尝试突破传统 VLN 的二维动作表示，使语言导航能够考虑机器人与三维环境之间更细粒度的物理交互。区别在于，TANGO 选择直接生成完整的全身关节运动，而我们的研究希望使用显式 Foothold Plan 作为视觉语言模型与底层运动控制之间的结构化表示。前者侧重身体与障碍物之间的整体几何适应，后者则可以进一步关注足端接触位置是否满足自然语言规定的语义约束。例如，"跨过前方的障碍物"可以由 TANGO 通过全身动作生成完成，但"只能踩红色区域，不能踩黄色区域"则要求模型显式理解并满足足端接触位置的语言约束。这是两项工作的一个重要区别。

此外，PET 对我们的数据构建也很有借鉴价值。我们可以采用相似的自动化思路，利用具有地形感知能力的 Foothold Planner 生成候选落足序列，通过底层 Locomotion Controller 在仿真中验证其动态稳定性和可执行性，再将通过验证的落足点与视觉观测、语言指令组成训练样本。与此同时，TANGO 也提醒我们一个值得深入思考的问题：如果直接预测全身关节动作已经能够完成一部分复杂的语言导航任务，那么显式预测落足点究竟能带来哪些高维动作预测无法轻易获得的优势？ 我认为开放式接触语义约束、落足计划的可解释性，以及在不同机器人运动控制器之间复用结构化运动目标，是后续需要重点论证的方向。

从后续精读的价值来看，最值得研究的是 PET 中的 Motion Editing 具体如何修改参考运动并保证可执行性，以及 TANGO 的 Action Expert 如何将视觉语言信息转化为全身动作序列。前者与我们的落足监督数据自动生成高度相关，后者则可以作为显式 Foothold Prediction 与直接 Whole-Body Action Prediction 两种动作表示路线的技术比较依据。

主要依据：论文第 1–11 页（Introduction、Method、Experiments、Conclusion），以及第 12 页的 Limitation。以上为首轮整体导读，技术公式和具体实现细节有意压缩。