NeurIPS 2026 Oral LCVN：给一段话，机器人能否走到墙边？
NeurIPS 2026 OralLCVN：一张起始画面、一段语言指令，能否预.
让机器人找路，过去常见的做法是直接把它领到终点，如今研究者换了个思路：把「怎么走」讲给它听。
「沿着走廊直走，经过左侧玻璃墙后，在拐角左转，继续走到墙边停下来。」人给人指路，常常这一句就够。可机器人得先把「玻璃墙」「左转」「墙边」这些词跟眼前的场景对上，再一步步变成连续的走和转。
现有的目标条件视觉导航方法，通常是给机器人一张目的地照片。这套设定放到日常里未必好用——用户手里未必有终点的照片，但用语言把目标和沿途参照物说清楚，一般不难。
顺着这个需求，团队提出了语言条件视觉导航任务 LCVN，并搭了配套数据集。他们还对比了两条把世界模型和导航决策结合起来的路线：一条在模型想象出的环境里学策略，另一条用统一模型同时预测动作和画面。
-
论文：https://arxiv.org/abs/2603.26741
-
代码：https://github.com/UWMILab/LCVN
-
主页：https://uwmilab.github.io/LCVN-webpage/
-
数据集：https://huggingface.co/datasets/fly1113/LCVN
-
竞赛：https://roboworld2026.github.io/track1
-
积分榜：https://www.codabench.org/competitions/18185/
任务设定：
只给一张起点的第一人称图像，再配一段语言指令，模型要做的就是预测出完整的动作序列——平面位移和朝向变化都算在内，一直走到指令里说的终点。
这里有个关键设定：预测过程中拿不到后续真实环境的反馈来纠错。模型只能顺着自己预测出的状态往下推演，最终在真实机器人轨迹上接受评估。
所以 LCVN 考的是离线轨迹预测。一步走错，后面的画面和动作就可能跟着偏，语言、环境预测和路线规划之间怎么配合，也就变得格外要紧。
数据集：
同一条路线，指令可以写成三种风格
LCVN 数据集里有 39016 条轨迹、117048 条经人工核验的指令，轨迹取自 Go Stanford、ReCon、SCAND、HuRoN 和 TartanDrive 这 5 个数据集。前四个来源用来训练和做域内评估，TartanDrive 的越野场景则用来检验模型在陌生环境下的泛化能力。每条轨迹都配三种英文指令：简洁型只保留主要方向提示，详细型补充更多场景描述，地标型则围绕沿途参照物来组织路线。标注流程是：团队先人工写种子样例，再由模型结合第一人称视频和俯视轨迹图生成指令，最后人工核验修订。随机抽 640 条轨迹做人工评估，整体质量评分为 5.2/6.0。
三种指令风格也带出一个实际问题：给机器人指路，到底说详细些更好，还是给出明确的参照物更管用？
两条路线：
想象与决策怎么结合
1. LCVN-WM + LCVN-AC：先想象环境，再学动作
第一条路线的分工很明确：世界模型管预测，策略模型管决策，两者配合完成任务。
其中世界模型 LCVN-WM 先提取图像特征，再把历史状态、动作和语言指令一并纳入，去预测后续场景怎么变。语言指令经由交叉注意力进入扩散模型，预测过程因此能不断参照指令里的目标与路线。训练用的是 Diffusion Forcing，给上下文中不同状态加上强度不一的噪声，以此提升连续预测的能力。
有了这个基础，决策模型 LCVN-AC 就可以完全在世界模型的潜层空间里学策略。它先选动作，世界模型接着预测这个动作会带来什么变化，再拿预测状态与专家轨迹的接近程度给出奖励。训练过程中，模型还要学会从当前状态和指令推断潜在计划，并让这份计划与完整专家轨迹中提取的计划对齐。
这样一来，世界模型就直接参与了策略学习，它预测出的未来状态会左右动作被优化的方向。
2. LCVN-Uni：一个模型同时预测动作和画面第二条路线 LCVN-Uni 建在 Anole-7B 多模态自回归模型之上，把图像、语言和离散化动作都编码成统一的 token 序列。
在预测环节，LCVN-Uni 把下一步动作和下一帧观测放进同一次联合预测，动作与图像两个预测目标一起优化。生成的画面接着充当下一步的输入，整段轨迹就这样一步步往下推。
两条路线的差异就在这里：一条是在世界模型里再训练一个策略模型，另一条是让同一个模型把动作与视觉预测一起学。
实验结果：
预测得更连贯，还是泛化得更好，两条路线各有一头。实验把导航成功率、轨迹误差和预测画面质量放在一起看。任务是这么算成功的：预测终点跟真实目标的距离，要小于该数据源的平均步长。
域内验证集上，LCVN-WM + LCVN-AC 的成功率是 43%，LCVN-Uni 为 42%；带语言条件的 NWM + LCVN-AC 组合则只有 29%。
换到没见过的 TartanDrive 环境，LCVN-Uni 反倒拉开了差距：成功率 27%，LCVN-WM + LCVN-AC 是 19%。混合测试集上，两条路线分别是 36% 和 34%，这个测试集眼下正用于 RoboWorld Challenge 的 WorldNav 赛道。
画面预测又是另一番景象。连续预测 8 步时，LCVN-WM 的 SSIM@8 达到 0.293，结构和时间上的连贯性守得更好；LCVN-Uni 这项是 0.218，不过 DreamSim 指标上它更占优。
说到底，视觉预测能力和导航能力得分开看，只盯一个指标，判断不了模型的整体水平。
语言对导航和未来画面预测到底起什么作用？
为弄清语言引导在这两件事上的影响，研究团队分别对比了世界模型带语言条件和去掉语言条件时的表现。结果两条路线都掉了链子：没有指令引导，导航成功率和连续画面预测质量双双下滑。以 LCVN-WM 为例，去掉语言条件后，它在域内验证集上的成功率由 43% 跌到 35%。
下图把这个差异摆了出来。
拿「沿走廊前进，直到看到右侧的橙色墙面」这条指令来说，加上语言条件后，两种模型在连续预测里都能更好地留住与目标相关的场景线索。语言在这里干的是目标描述的活，模型预测出的状态能和目的地对上号，后续动作也就有了更稳的参照。
哪些问题还没解决？
论文里给了一个失败案例：LCVN-Uni 转弯方向判断对了，但转弯之后该出现的走廊和目标白门没生成对，后面的动作于是少了可靠的视觉依据。
对 LCVN 来说，它搭起的是一个把想象和决策放在一起讨论的共同测试平台，不过真实机器人上的闭环验证还没做。指令方面，目前也只覆盖了三种预设风格的英文表达。更自然的口语、多语言指令，以及执行出错后怎么恢复，都是接下来要检验的方向。
作者介绍
