LCVN：不给终点照片，机器人如何靠一句话导航？

机器人导航能不能换一种输入方式：不给终点照片，直接告诉它该怎么走。

「沿着走廊直走，经过左侧玻璃墙后，在拐角左转，继续走到墙边停下来。」给人指路，通常一句话就够。

可机器人得先把「玻璃墙」「左转」「墙边」这些词跟眼前环境对上号，再变成一连串移动和转向动作。

现有的目标条件视觉导航方法，习惯用一张终点照片交代目的地。问题在于，这个设定放到实际使用中未必方便——用户手里不一定有目的地的照片，但多半能用语言说清目标以及沿途的参照物。

针对这一需求，团队提出了语言条件视觉导航任务 LCVN，搭起配套数据集，并对两条把世界模型与导航决策结合起来的路线做了比较：一条在模型想象出的环境里学策略，另一条用统一模型把动作与画面放在一起预测。

• 论文：https://arxiv.org/abs/2603.26741

• 代码：https://github.com/UWMILab/LCVN

• 主页：https://uwmilab.github.io/LCVN-webpage/

• 数据集：https://huggingface.co/datasets/fly1113/LCVN

• 竞赛：https://roboworld2026.github.io/track1

• 积分榜：https://www.codabench.org/competitions/18185/

任务设定：

只凭起始画面加语言指令，就要预测出之后完整的导航路线。

LCVN 任务的输入仅有一张起点的第一人称图像和一段语言指令。模型要依据这两样东西，预测出完整的动作序列（含平面位移与朝向变化），一直走到指令描述的终点为止。

关键设定在于：预测全程没有后续真实环境反馈可供纠错。模型只能靠自己预测出的状态往下推演，最终在真实机器人轨迹上评估效果。

所以 LCVN 考察的是离线轨迹预测能力。一步走错，后面的画面和动作都可能跟着偏掉，语言、环境预测与路线规划之间的配合因此格外要紧。

数据集：

同一条路线，指令可以写成三种风格。

LCVN 数据集含 39016 条轨迹、117048 条经人工核验的指令，轨迹取自 Go Stanford、ReCon、SCAND、HuRoN 和 TartanDrive 这 5 个数据集。前四个数据源用来训练和做域内评估，TartanDrive 的越野场景则用来检验模型在陌生环境下的泛化能力。每条轨迹配三种英文指令：简洁型保留主要方向提示，详细型补充更多场景描述，地标型围绕沿途参照物组织路线。标注流程是：团队先人工编写种子样例，接着由模型结合第一人称视频与俯视轨迹图生成指令，最后人工核验并修订。随机抽取 640 条轨迹做人工评估，整体质量评分为 5.2/6.0。

三种指令风格也带出一个实际问题：给机器人指路，到底说详细些更好，还是给出明确参照物更有效？

两条路线：

想象与决策该怎么结合

1. LCVN-WM + LCVN-AC：在想象出的环境里学动作

第一条路线靠世界模型与策略模型配合完成。

世界模型 LCVN-WM 先提取图像特征，再结合历史状态、动作和语言指令，预测接下来的场景变化。语言指令经由交叉注意力进入扩散模型，让预测过程能一直参考指令中的目标与路线。训练用的是 Diffusion Forcing，给上下文里不同状态加入不同程度噪声，以增强连续预测能力。

在这之上，决策模型 LCVN-AC 完全在世界模型的潜层空间里学策略：动作由它挑选，世界模型预测动作会带来什么变化，再按预测状态与专家轨迹的接近程度给出奖励。训练过程中，模型还要学会从当前状态和指令推断潜在计划，并让它与从完整专家轨迹中提取的计划对齐。

这样一来，世界模型直接参与了策略学习，它预测出的未来状态会影响动作的优化方式。

2. LCVN-Uni：让同一个模型联合预测动作与画面

第二条路线 LCVN-Uni 建立在 Anole-7B 多模态自回归模型之上，把图像、语言和离散化动作编码成统一的 token 序列。

LCVN-Uni 把下一步动作和下一帧观测放进同一次联合预测，动作与图像预测目标一起优化。生成的画面接着作为下一步输入，推动整段轨迹继续展开。

两条路线的差别也就清楚了：前者在世界模型里再训练一个策略模型，后者让同一个模型同时学动作与视觉预测。

实验结果：

预测更连贯、泛化更好，两条路线各有侧重

评估覆盖三项指标：导航成功率、轨迹误差，以及预测画面的质量。其中任务算成功，指的是预测终点和真实目标之间的距离小于该数据源的平均步长。

域内验证集上，LCVN-WM + LCVN-AC 拿到 43% 的成功率，LCVN-Uni 是 42%；把语言条件加进世界模型的 NWM + LCVN-AC 组合则为 29%。

换到此前没见过的 TartanDrive 环境，LCVN-Uni 的长处更突出，成功率 27%，LCVN-WM + LCVN-AC 是 19%。混合测试集上这两条路线分别为 36% 和 34%，该测试集眼下正被用作 RoboWorld Challenge 的 WorldNav 赛道。

画面预测那边是另一番景象。结构与时间上的连贯性，LCVN-WM 守得更好，连续预测 8 步时 SSIM@8 为 0.293；LCVN-Uni 这项是 0.218，不过 DreamSim 指标上它更占优。

从这些结果看，视觉预测和导航是两件事，得分开测；只盯一个指标，判断不了模型的整体水平。

语言到底怎样作用于导航和未来画面预测？

为了看清语言引导对导航与世界模型各自的影响，我们在世界模型里分别加入和去掉语言条件，再对比表现。

差异见下图。以「沿走廊前进，直到看到右侧的橙色墙面」为例，语言条件一加，两种模型在连续预测中都更能守住与目标相关的场景线索。语言在此起了目标描述的作用，模型预测的状态因此能和目的地对上，后续动作也有了更稳的依托。

还有哪些问题没解决？

论文里给了一个失败案例：LCVN-Uni 转弯方向判断正确，可转弯之后该出现的走廊和目标白门没能生成出来，后续动作于是少了可靠的视觉依据。

LCVN 搭起的是一个共同测试平台，用来讨论想象与决策如何结合，但真实机器人上的闭环验证还没做。目前的指令也只覆盖三种预设风格的英文表达。更自然的口语、多语言指令，以及执行出错后如何恢复，都是下一步要检验的。

作者介绍