杨立昆H-JEPA模型：分层推理成功率73%，反对当下AI叙事

《复仇者联盟：终局之战》里有一幕，美国队长在电梯里压低声音对神盾局特工说了一句“九头蛇万岁”。就凭这一句话，那些伪装成神盾局特工的九头蛇成员，便把镶嵌心灵宝石的权杖交到了他手里。

事情还没完。正因为九头蛇成员把美国队长当成了自己人，钢铁侠等人同一时间偷走空间宝石的计划才没被察觉。到头来，复仇者们成功干掉了灭霸，救下了整个宇宙。

一句话就能影响整个宇宙，你看。杨立昆的新世界模型H-JEPA想做的，正是靠分层推理这套底层思路，把后续会怎么发展推出来。

一个不起眼的动作，短期内会带来什么？放到中期呢？再往后呢？有名的蝴蝶效应说的就是这个理——巴西一只蝴蝶扇扇翅膀，最后可能在德克萨斯掀起一场龙卷风。

01

H-JEPA 究竟是什么

H-JEPA的根，是杨立昆的JEPA，全称Joint-Embedding Predictive Architecture，也就是联合嵌入预测架构。

它跟眼下流行的视频生成模型不是一路。JEPA不画下一帧，而是把画面压成一组抽象向量（也就是所谓潜在表征），再在这个抽象空间里去预测未来。

好比两个人闭着眼睛下棋。棋盘根本用不着，你只要报出要走的棋，比如老将出宫帅五进一、身先士卒兵一进一，对方听完就能在脑子里把这个棋盘的走势摆出来，接着应招。

JEPA弄明白了，再看这次的H-JEPA：它的办法是把好几个这样的JEPA一层层摞起来。

每一层都配有自己的观察编码器、动作编码器和潜在预测器，各层在各自的表征空间里，预测不同时间跨度之后的状态。最底下那层管得最细、看得最近，越往上看得越远、越宏观。

到了规划的时候，顺序正好倒过来。高层先抛出一个粗略的目标状态，这个目标变成下一层的子目标，下层再往下细化，一直到最底层输出真正的动作。

其实2022年的时候，杨立昆就在论文《一条通往自动机器智能的路（A Path Towards Autonomous Machine Intelligence）》里提出过分层JEPA。只是隔了四年，才头一回有了一个能复现的完整实现。

分层这套底层思路，来自杨立昆早前提出的一个概念，叫“从纽约去巴黎”。

打个比方。你要从北京去上海，脑子里盘算的肯定是分层的。先定“坐高铁”，再琢磨“怎么去北京南站”，最后才轮到“先迈哪只脚”。

订车票的时候，你绝不会去琢磨脚下台阶有多高。

不同的抽象层，本来该留的信息就不一样。订票那一层，只要知道“时间、价格、车次”；迈步那一层，才需要知道“重心、台阶、地面”。

这偏偏是Transformer最犯难的地方。按每个token去预测，等于把订票、去车站、下楼梯三件事摞在一块儿想，步骤一多，出错就越容易。

想要奔着更长远的目标去，中间所有细节就都得过一遍。

论文里提到，扁平的单层模型碰上长任务，要展开许多细粒度步骤，预测误差会累积，动作搜索空间也会跟着变大。

分层之后效果如何，论文拿Visual AntMaze迷宫任务做参照。单层的LeWM成功率只有 18%，加到三层的H-JEPA，成功率达到73%。

那问题就来了。三层都这样了，杨立昆怎么不干脆加到100层，甚至10000层？

在Push-T任务里，两层表现较好，加到三层、四层之后，成绩反倒往下掉。

论文给出的推测是，任务轨迹本身偏短，高层能拿到的训练数据因此受限。到了三层，可迁移训练数据大约只用到LeWM的58%，四层更少，只剩约14%。也就是说，层级堆得越多，效果未必跟着涨。

02

H-JEPA最耐人寻味的一点，是它的分层思路，跟眼下主流的Agent玩法正好拧着来。那杨立昆为什么反对Agent？

现在Agent的常规操作，是把一个长任务切成更多步，烧掉更多token去反复试——先规划，再调工具，再检查，再推倒重来。拆得越碎、试得越勤，看起来就越接近把活干完。

但杨立昆的论文指出，往上加层级，比单纯加步数管用。分层以后，高层只要在很少几步里拍板“往哪走”，细活交给下层，规划要算的量也跟着降下来。

OpenAI、Anthropic这类头部大厂走的是另一条路：在同一个粒度上往外铺。结果就是每个新模型迭代一次，上下文更长、token更多、尝试次数更多。他们降价喊了很久，你真用起来却发现账单越来越贵。

H-JEPA主张的是往上长——增加抽象层级，让模型在不同时间尺度上用不同的表示。今年1月的达沃斯上，杨立昆就说过，LLM能考过律师资格，也能写代码，但现实世界的复杂问题它处理不了。理由是：今天既没有家用机器人，也没有L5级别的自动驾驶。

他还有一句：“我无法想象，一个不能预先预测自己行动后果的系统，能被造成agent。”顺带一提，杨立昆讲这话时，阿莫迪就在旁边。

H-JEPA是个世界模型。每个动作执行之前，都会先在潜在空间里“演一遍”，看短期、中期、长期分别会走到什么状态，然后再挑动作。

所以杨立昆主张的是：真正的Agent，不该是“说一句话、看反应、不行再换”，而是在开口之前，就大致清楚这句话会牵出什么样的连锁反应。

另外，今天的Agent，尤其编程Agent，主要靠奖励来训——做对了加分，做错了扣分。代码之所以成了AI的主战场，一个很重要的原因就是写代码有现成的对错信号：测试过不过、编译报不报错、基准分数涨没涨。

Anthropic的官方文章里提过，在预设了目标和评价标准的前提下，Claude已经能跑实验、优化代码，但“选目标、判断什么问题值得研究”这块还差着。可见可验证的标准越明确，Agent越好使。

H-JEPA在这块走的同样是反方向。论文一再强调，它的训练“不用奖励，也不用重建”——不需要外部打分，也不需要把像素一点点还原回去。从头到尾，它都是在表征空间里学着预测下一个状态。

有名的《湿猴理论》说的就是这回事。笼子里关着5只猴子，上方挂着香蕉，只要有一只猴子爬梯子去够，全体都要挨罚。猴子其实不知道水枪是什么，但被水喷多了，它就明白香蕉碰不得。

03

那杨立昆又为什么反对RSI？

今年5月，一家叫递归超级智能（Recursive Superintelligence）的公司结束隐身，拿到超过6.5亿美元融资，投前估值约46.5亿美元。

这家公司的联合创始人之一，正是前Meta FAIR研究总监田渊栋。他还有另一重身份：杨立昆在FAIR时期带出来的老部下。

递归超级智能公司的主张就是让AI递归地改进自己——公司名字本身就把答案摆在了明面上。RSI热到这个程度，连杨立昆自己带出来的人都去做这门生意了，可他在H-JEPA里连一个字都没提。

在他看来，当下不管是世界模型，还是他理想中的Agent，缺的那些东西RSI根本补不上。反复让AI改自己，改出来的还是基础能力：拿语言模型做RSI，到最后涨的依然是语言能力；语言模型缺的多模态和推理，不会因为改的次数多就自己冒出来。

所以杨立昆把RSI看成一个放大器——放大的只是原本就有的东西。从JEPA到H-JEPA，RSI再怎么翻天地覆也没用。

何况RSI要跑起来，得有可验证的判断依据。前面提到的代码测试过没过、基准分数涨没涨，都是这类信号，而H-JEPA训练时明确不采用奖励。

杨立昆的说法是，物理世界里压根没有现成的标准可看。机器人把杯子推歪了，这该打多少分？在一个没有分数可看的世界里，“改进”拿什么衡量？

论文里他还顺手Diss了一把RSI。DROID实验中，数据取自真实机器人的遥操作视频，场景、灯光、物体在不同片段之间不停变。

若只让模型做预测，它学到的是“这是哪个场景”，而真正在动的机械臂被忽略掉了，论文管这叫慢特征坍缩（slow-feature collapse）。

研究者得人为加一个逆动力学约束，要求模型根据前后状态推断中间的动作。这个约束一撤，模型性能直接掉到零；加上去，规划能力才回来。换句话说，让模型学会“动作造成什么”，靠的是人设计出来的约束，而不是模型自己越改越好。

决定成败的也不是改进的次数。古语说书读百遍其义自见，但杨立昆不这么看：真正决定模型成败的，不是RSI了多少轮，而是每一层该保留什么、该丢什么，以及深层模型有没有足够的数据。

前文Push-T里三层、四层不进反退，就是最直观的例子。递归地加深，并不能自动给模型带来能力上的增长。

在他这条路线里，AI得先学会正确地表示世界，然后“改进自己”才有意义，这件事比RSI更靠前。