JEPA预测很准却说不清原理:上海交大与南洋理工的四步验证框架

资讯 腾讯网 作者:科技行者 全文 4708 字 · 约 12 分钟读完 分类学术研究机器人

有一台机器,每天都在练习一件事:看一段视频的前几秒,猜接下来会发生什么。猜了几百万次之后,它猜得越来越准。机械臂推杯子,它知道杯子会往哪边倒;路口的行人往前走两步,它知道下一帧他们大概会出现在哪里。这台机器的名字叫JEPA,这篇论文讨论的正是围绕它展开的一个尴尬问题:它预测得挺准,但没人说得清它脑子里到...

所属频道 机器人与具身智能前沿研究

有台机器天天在练同一件事:瞄一眼前几秒的视频,然后猜后面会冒出什么。

练过几百万次,它猜得越来越靠谱。机械臂去推杯子,它能判断杯子往哪侧倒;路口的行人迈出两步,它大概能说出下一帧人会出现在哪儿。这台机器叫JEPA,这篇论文要聊的正是它身上一个挺别扭的疑问:预测是挺准,可它内部究竟在发生什么,谁也讲不明白。

这话不夸张。上海交大和南洋理工的研究者在论文里把这个疑问直接摊开:一个会预测世界的AI,我们究竟能不能看懂它学到的那个“世界”是什么样?眼下的回答是,看不太懂。

要说清这事为什么难办,得先交代JEPA是什么。

**JEPA**:全称

拿画家作比。别人让你猜一辆车十秒后开到哪,你可能老老实实把车、路、天空的每个细节都画出来。JEPA不这么干,它脑子里只留“车、位置、速度”这几项关键信息,然后直接往后推这几个数会怎么变。整幅画它懒得画,只盯着那些真正要紧、真正能被预测的东西。

这个思路其实相当巧。真去画一整幅,就得管阳光的角度、树叶怎么晃、路人衣服的褶子,这些细节多半是噪音,跟“车会开到哪”没多大关系,花了力气也不讨好。JEPA把这些统统跳过,专心算那几个真正左右结果的变量。这也是为什么像

可麻烦也跟着冒出来了。

### 预测得准,不等于看得懂

假如一个模型只是在外表上照搬世界的行为,内里却靠某种取巧的路子蒙对答案,从外部是压根看不出来的。

论文里给了一个很具体的例子。设想机器人推桌子边上的杯子,JEPA模型判断杯子会稳稳待在桌上,实际杯子却掉了下去。这个错判背后可能对应好几种截然不同的缘由:可能模型根本没察觉杯子已经挪到桌沿(这属于“状态表示”的问题);也可能它清楚杯子的位置,却不懂失去支撑后物体会怎样运动(这是“

这四种原因,从外面瞧都只是“模型预测错了”,可病根各不相同,对应的治法也各不相同。好比去医院,医生只看到你发烧,判断不了是感冒、肺炎还是别的毛病,得再做检查才对得上药。要是没法把这几种失败模式分开,所谓“改进模型”就只能靠碰运气,折腾半天也许根本没碰到点子上。

这篇论文想做的,就是给这台“发烧的机器”安排一次彻底的体检。

业界眼下常用的体检手段,叫**

这法子并非没用,恰恰相反,它是目前做得最多、证据也最扎实的一步。不过论文的核心看法是:解码出信息,不等于看懂了这条信息是怎么被用起来的。

这里埋着一个特别容易让人上当的坑。假设你从模型内部状态里顺利解出了“物体的速度”,听着挺唬人,好像证明模型确实“知道”速度这回事。可这丝毫没告诉你,速度信息跟位置、跟接触、跟别的变量之间是什么关系;更没告诉你,模型预测时究竟有没有真把这个速度用上,还是说预测其实被某些不相干的视觉线索(背景纹理、镜头晃动之类)悄悄带偏了。

好比一个学生考了满分,你翻他的草稿纸,上面写着正确的公式,于是你断定他“懂”这道题。可他万一是蒙对的,公式只是随手抄上去凑数,真解题时压根没用呢?光看草稿纸不够,得换一道变形题让他再做一遍,看他还能不能推出正确答案。少了这步验证,所谓的“懂了”随时可能是假象,等真要用这个模型做决策、做控制,假象就可能变成实打实的事故。

### 从解码到理解,研究者画了一张四步路线图

既然光解码不够,那该怎么办?

论文给出了一套四阶段的思路框架,分别叫做

第一步**

这一步干的就是前面说的解码:把模型潜在空间里的某块区域,跟外部世界中一个看得懂的变量(物体位置、速度、身份等)对上号。这是地基,地基打好了才能往上盖楼。目前JEPA相关的大多数研究,包括

第二步**

光知道“速度这信息藏在这儿”还不够,还得弄明白速度跟位置、跟接触力之间怎么互相牵扯,以及这些变量随时间是怎么一步步演化的。好比你不光要知道汽车仪表盘上哪个指针是车速,还得搞清车速怎么随油门、刹车、坡度一起变,只认得一个孤零零的指针,理解不了整辆车的运作逻辑。

第三步**

这一步是整个框架里最要紧、也最难啃的一环。做法是搞一次“受控干预”:故意改动模型内部那块被认定“代表速度”的区域,硬把它调高或调低,再看模型接下来的预测会不会跟着变。改了之后预测确实变了,说明这个变量不是摆设,真被模型拿去推理了;要是调了半天预测纹丝不动,那先前解出的“速度”信息,可能只是个花瓶,中看不中用。

这里有个现实难题,论文也直说了:你想单独调一个变量,可模型内部的表示往往把好几个属性揉在一块,你一动“速度”这个旋钮,“位置”可能也跟着悄悄变了,那之后看到的预测变化到底是谁引起的,就说不清了。跟家里那种老式总闸一样,你本来只想关厨房的灯,一拉闸客厅的电视也黑了,你压根分不清刚才的变化是厨房灯还是客厅电视造成的。控制变量这步做不干净,所谓的“验证”就是假把式。

第四步**

前三步走完,哪些内部机制真正在起作用就算验出来了。到这一步,验证过的知识便能拿去指导实际改进,比如用"

论文还拿一张表格把领域内为数不多的几项相关工作盘了一遍,结果挺扎心。像

换句话说,眼下整个领域还停在"知道信息藏在哪"的阶段。"这些信息怎么协同、怎么驱动决策"这类问题,离真正弄明白还差得远。

### 世界模型的"世界",因领域而异

论文里有个观点容易被忽略,其实挺重要:不同应用场景下,所谓"值得关心的世界变量"压根不是一回事。机器人抓杯子的场景里,重要的是夹爪、物体、接触力、运动轨迹;3D场景里做"找出门口最近的那把椅子"这类任务,重要的是物体位置、空间关系、场景上下文;医疗手术视频分析里,关心的是手术器械、解剖结构、它们之间的交互关系,以及手术进行到了哪个阶段;而做基因序列分析的

这其实等于在问"什么样的地图才算好",答案得看你要去哪儿。开车的关心路网和信号灯,爬山的盯着等高线和水源,跑船的在意的则是洋流和暗礁。同一张世界地图,换个人来看就不是一回事。放到世界模型的可解释性研究上也是同样的理儿:没有什么"标准变量清单"能通吃所有场景,真正重要的东西是什么,得按具体领域来定。

### 看懂了又能怎样

花这么大力气去搞清楚模型内部到底在想什么,到底图什么?论文给出了几个挺实在的回答。

头一条,是能准确找到问题出在哪。前面说的杯子掉落那个例子讲的就是这个,只要能把失败拆成"状态没表示对""动力学没学对""交互关系没抓住""多步预测累积误差"这几类具体情况,修的时候才对得上症,而不是闷头瞎调参数。

第二条,是能识破那些靠"作弊"拿高分的模型。有些模型看着表现挺好,实际上是逮住了训练数据里的巧合线索,像背景颜色、摄像机角度这些跟任务本身没必然关系的东西。一换场景、一换背景,这类模型马上就露馅。去查模型内部究竟靠哪些机制做预测,就能提前把这种"纸老虎"揪出来,不用等它上了战场才发现不顶用。

第三条,有助于弄明白模型为什么在陌生环境里还能靠得住,又为什么一换环境就翻车。要是某些内部变量一直稳得住,不跟着物体外观、背景这些无关因素乱变,那这个模型多半迁移能力更强;反过来,内部变量对这些无关因素特别敏感的话,那就是以后要出故障的隐患。

第四条,也是论文特别强调的一点:这些模型一旦被拿去干真正的决策和控制,比如指挥机器人干活,内部出错就不只是"预测错了",而是"做错事了"。这时候,提前判断一个预测靠不靠谱,就成了安全问题。某个预测究竟是建立在已经验证过、稳定可靠的内部机制上,还是建立在某个从没验证过、甚至已知不稳定的"猜测"上——这个信息能在行动真正发生之前,给系统留一次踩刹车的机会。

### 这件事也有它的难处

论文也没绕开自家框架的局限。有一种质疑相当尖锐:凭什么说"位置""速度""接触"这些人类用惯的概念,就是模型内部真在用的概念?模型完全可能用一套人类很陌生的方式组织信息,分布式的、非线性的、跟具体任务绑得很紧,压根对不上人类熟悉的词汇。好比你去读一个外星文明的语言,硬要翻成地球上现成的词,翻着翻着最本质的东西可能就丢了,甚至整个方向都翻错。论文的态度是:人类定义的概念该当成"参照点",用来找可测试的对应关系,而不是先假定模型必须照人类的方式思考。

另有一种看法是,搞懂模型内部机制并非构建可靠系统的必经之路,行为测试、不确定性估计、鲁棒性训练这些"黑箱"手段照样能达到同样效果,盖子不用打开。论文的回应是,这两条路并不互相取代:行为测试告诉你模型什么时候会出错,内部分析告诉你为什么出错,两者是互补的搭档,不是二选一的对手。

论文末尾给出了几条面向后续研究的具体建议:搭有已知标准答案的受控测试环境,好检验这套解释框架靠不靠谱;研究不同架构、不同训练方式、不同规模的模型,它们内部形成的"世界"差在哪里;把这些可解释性分析和实际的模型表现、设计选择挂上钩,让理解反过来指导设计;最后,把目前大多在实验室小环境里验证过的方法,一步步推到真实视频、长时间预测、复杂机器人场景这些更贴近现实的应用中去。

写在后面

读完这篇论文,留下印象最深的还是那个杯子掉落的例子。它把原本很抽象的"可解释性"问题一下拽到了眼前:扫地机器人撞墙了,自动驾驶系统急刹车了,这些事故背后到底是"没看见",还是"看见了但不懂物理",用户永远搞不清,开发者自己恐怕也说不明白。论文提出的框架,某种程度上就是想把这种"说不清楚"变成能被系统化检验的事。

还有一层可以多想。论文提到,不同的JEPA模型组织内部信息的方式可能完全不是人类熟悉的那套,这事挺耐人寻味。我们总习惯用"这个AI懂不懂物理定律"这种拟人说法去评价模型,可这些模型也许压根没有"位置""速度"这类概念,它们的内部世界可能是一堆人类语言根本叫不出名字的东西。若真如此,"可解释性"的终点或许就不是把AI的脑子翻成人话,而是承认有些机器思维的方式,从一开始就跟我们不是一个语言体系。

这篇论文没拿出任何现成的解决方案,它更像是在提醒:大家一直忙着让AI预测得更准,却很少停下来问一句,它预测准的时候,是真懂了,还是蒙对了。这个问题眼下还没有答案。

Q&A

Q1:JEPA是什么,它和常见的生成式AI有什么不同?

A:JEPA全称

Q2:解码出模型内部的信息,为什么不能等同于真正理解了模型?

A:解码只能说明某类信息(比如物体速度)可以被从模型内部读出来,却说明不了模型预测时确实用上了它。预测结果完全可能被别的无关线索带偏,要确认这条信息是否真的参与了决策,得靠人为干预和验证。

Q3:论文里的 Ground、Structure、Verify、Act 四步框架,各自管什么?

A:Ground 管的是把模型内部区域对应到可理解的外部变量;Structure 研究这些变量之间怎么关联、怎么演化;Verify 靠人为干预去测模型预测是否真的依赖这些变量;Act 则拿验证过的结论去诊断并改进模型的实际表现。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 机器人找东西成功率仅52%:问题不在腿,在眼睛

    你有没有过这种经历,在超市里找某个货架,明明走到跟前了,眼睛却直接扫过去,继续往前走,走出去好几步才反应过来"刚才那个好像就是"。这篇论文讲的就是机器人版本的这个问题,而且比你想象的更严重。一群研究者训练了一个导航机器人,让它在陌生的房子里找某个指定物体,比如"找一个脚凳"。这个机器人用的是现在最流行的...

    来源 腾讯网
  2. PremiseCheck研究:让AI审稿先拆断言再核对,成本能降多少?

    先说一个场景。你是一篇论文的作者,凌晨两点打开评审意见,看到这样一条: “这篇论文的可复现性有限,因为只在 Gopher 模型上做了测试,而这个模型既不开放 API 也不开放权重。” 你心里一沉,因为你们明明用的是 OPT-6B,而且附录里专门写了复现步骤。你去 rebuttal 里解释,评审可能不看,AC 大概也不会

    来源 腾讯网
  3. 李飞飞创办World Labs被AMD收购:46天交易,82亿美元

    从图像、空间到仿真环境,她不断拓展机器“看见世界”的方式。文|《中国企业家》见习记者 施思羽编辑|马吉英头图来源|视觉中国在World Labs位于旧金山的总部,两位华裔女性共同切下庆祝蛋糕。当地时间11月16日,半导体巨头AMD宣布,完成对世界模型World Labs的收购,交易金额82亿美元,全部采用股票支付。来源

    来源 腾讯网
  4. 谷歌论文:光改提示词智能体成功率反降,改运行框架升至40%

    调教 AI 智能体,惯用手法是反复打磨提示词。谷歌 11 月 17 日发表的论文却给出反直觉结论:只改提示词,智能体成功率反而从 5% 跌到 2.5%;而让优化模型直接改写其运行框架,成功率冲到 40%,足足 8 倍。 142 行代码,拆成四块逐个改 Harness 指包裹在模型外围的运行框架,负责

    来源 AI 开发者社区
  5. 智元机器人入局手机制造,瞄准1-N规模化复制

    每经AI快讯,继跳舞商演、进工厂、乐园上班之后,智元机器人又开始“做”手机了。《每日经济新闻》记者获悉,近日,智元创新(AGIBOT)与国内智能终端全产业链精密制造龙头蓝思科技达成合作,在手机测试产线部署智元精灵G2机器人,数十台机器人同时进行测试工位自动上下料、测试设备交互等工作,聚焦手机MMI、ANT、CAM、CA

    来源 腾讯网
  6. 王兴兴:机器人泛化能力一两年内或突破,进家庭还差工程问题

    中国青年报客户端北京11月20日电(中青报·中青网记者 贾骥业)在今天举行的“第三届中国大模型大会”上,宇树科技创始人、董事长王兴兴在谈到机器人产业发展态势时说:“当前,对于全球机器人产业的发展,泛化能力是最大的问题。但未来很快就会突破,快的话明年都有可能。”王兴兴认为,机器人从“试点能干”走向“大规模...

    来源 腾讯网
  7. 太平鸟押注机器人工厂:效率仅人工50%至70%,3D设计同步落地

    界面新闻记者 | 周芳颖界面新闻编辑 | 楼婍沁太平鸟近日在浙江宁波对外展示了升级后的智能工厂。现场,一台人形缝制机器人正在抓取和摆放面料,再由配套的缝纫设备完成缝制。这是太平鸟与艾图科技合作研发的智能制造设备。图源:太平鸟不过,现阶段机器人的生产效率还没有超过熟练工人。艾图科技创始人兼CEO张瀚文在现场介...

    来源 腾讯网
  8. Fable 5.2与GR00T 2接连突破:机器人的“脑”和“手”还差一道缝

    2026年末,具身智能的商业化似乎终于等来了它的“破局点”。 过去,这个行业一直受困于“大脑”不够聪明,无法应对复杂环境;“手”不够灵活,且学习成本高昂。 但最近,两个技术突破为它们带来了新的进展。 一方面是“大脑”的外溢。 Anthropic的通用模型Fable 5.2,原本的主业是编程与推理,现在却在双臂机器人仿真

    来源 AI 行业观察
  9. 姚顺雨回清华姚班:大模型不拼指标赛马,RSI如何落到工程?

    11 月 18 日晚,腾讯首席 AI 科学家、混元大模型负责人姚顺雨回到母校清华大学交叉信息研究院(姚班),与本科同窗、清华交叉信息院助理教授吕凯风做了一场近距离的闭门问答交流。 作为姚班 2015 级校友与普林斯顿博士,姚顺雨曾参与提出将推理与行动结合的 ReAct 范式,是代码 Agent 评测基准 SWE-ben

    来源 AI 行业观察
  10. 谷歌推 Gemini 4 Argon:面向机器人控制与策略优化

    谷歌发布了 Gemini 4 Argon,并将其定位为一款通用物理推理模型,适用于机器人控制、 Real2Sim 场景构建、机器人视频多模态标注以及迭代策略优化,而非单一的末端执行器策略。 在已发布的提示词中,在 MuJoCo 孪生环境中进行训练后,Argon 引导波士顿动力公司的 Spot 机器人完成了脚踏板任务;利

    来源 AI 行业观察
  11. Anthropic数学家宣称用Claude证明黎曼猜想,附14卷Lean代码

    Anthropic研究员Levent Alpöge发布声明,称在AI助手Claude协助下完成了黎曼猜想及广义黎曼猜想的证明。核心论证以25万页Lean形式化代码呈现,而非传统论文。目前数学界尚未完成独立验证,关键看形式化命题是否准确对应原猜想。这一事件标志着“人类引导+AI推导+机器验证”的新科研范式可能正在形成。

    来源 AI 应用前沿
  12. 贝佐斯再创业:410亿美元估值押注物理世界AI

    卸任亚马逊CEO五年后,贝佐斯联合创立Prometheus,估值飙升至410亿美元。这家公司不造聊天机器人,而是试图用AI重构实体制造业,打造“通用AI工程师”。文章解析其技术路径、数据困境及背后的资本野心,探讨AI从比特世界向原子世界迁移的真实挑战。

    来源 AI 应用前沿
  13. Claude宣称证出黎曼猜想:1700万行代码,数学家先要验真

    11月20日,Anthropic数学家Levent Alpöge称在Claude帮助下找到黎曼猜想及广义黎曼猜想的证明,但未发表完整论文,仅公布约1700万行的Lean形式化证明证书。截至11月21日,该主张尚未经独立专家完整审查,克雷数学研究所的奖金评定还要求在同行评审期刊发表并经过至少两年审查。

    来源 凤凰科技
  14. 深夜,美股AI血崩,英伟达市值已跌去2.7万亿美元

    智东西(公众号:zhidxcom)编译 | ZeR0编辑 | 漠影智东西11月21日消息,一夜之间,美股惨遭“黑色星期五”,对AI泡沫加剧的担忧引发华尔街抛售潮,恐慌情绪集中爆发,美国科技股一片哀嚎,英伟达股价暴跌14%,戴尔暴跌11%,Anthropic暴跌9%,甲骨文、SpaceX、特斯拉暴跌8%,Meta暴跌6%

    来源 腾讯网
  15. 亚马逊拦下Grok Bot:马斯克回应,网友帮忙起名

    新智元报道 AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了!10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。他吐槽:那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上!而亚

    来源 腾讯网
向下滚动自动加载更多