AI长线调查训练难在哪:题太简单、反馈太糙

资讯 腾讯网 作者:科技行者 全文 3917 字 · 约 10 分钟读完 分类学术研究游戏

你有没有玩过那种需要连环推理的侦探游戏?不是"谁是凶手"这么简单的一道题,而是你得先找到一张老照片,认出照片里的建筑,查这栋建筑的历史,顺藤摸瓜找到一场国际会议,再从会议参与者里锁定一个人,追踪他的继任者,最后在继任者纪念馆的某张照片里,数清楚几根柱子。这是一个真实的例子。论文里展示的一道训练题,起点是一...

所属频道 前沿研究影视与游戏

玩过那种要连环推理的侦探游戏吗?不是问一句“谁是凶手”就完事,你得先翻出一张老照片,认出照片里的建筑,查清这栋楼的历史,顺藤摸瓜挖出一场国际会议,再从参会者中锁定一个人,追踪他的继任者,最后到继任者纪念馆的某张照片里,数清楚有几根柱子。

这不是编出来的段子。论文里就摆了一道这样的训练题:起点是一张“山间大酒店”的图片,终点是让AI去数一张体育场黄昏照片里“大屏幕下方有几根白色圆柱”。中间隔着五个阶段的查证,文本搜索、以图搜图、裁剪图片、Python计算等七八种工具都得用上。

论文要解决的正是这件事——教AI做这种长线调查。教起来比想象中难得多。

**当AI的“深度搜索”遇到简单题**

如今的多模态AI助手已经能边看图边联网查资料。丢给它一张图、一个问题,它会去搜索引擎查,去网页里扒线索,甚至拿图片反过来搜图片。这类系统近来被称作“多模态深度搜索智能体”。

多模态深度搜索智能体*:这类 AI 系统既能识别图像,也能联网查资料;面对复杂问题时,它靠一轮轮检索和推理找答案,而非只调用自己记下的知识。

可训练这类系统时,一个很现实的坎儿摆在面前:现成的训练题太简单了。

论文给出了具体对比。研究者拿Qwen3.5-9B做测试,在不用任何工具、纯靠模型自己脑子里的知识答题时,

这就像想训练一名马拉松选手,却只给他准备了百米跑道。跑完了,心率没怎么上去,肌肉也没怎么练到,场地根本不够长。不换更长的赛道,练多少次耐力也上不去,能看到的只是他把百米越跑越快,可马拉松要面对的问题,这么练解决不了。

另一个麻烦是,自己想出难题,成本极高。论文提到,构造一道需要“图谱式组合”的难题,得去采集关系数据、找配图、逐条验证证据链,往往还要人工核查,费时又费钱。

**反馈信号太弱,AI学不会“过程”**

题目太简单之外,还有第二个麻烦:即便AI真的开始做长线搜索,训练时给它的反馈也太粗糙。

现在主流的强化学习训练方式,叫

GRPO

问题是,

更棘手的是,同一道题下AI生成的好几条尝试路径如果最后得分一样(比如都错了,全是0分),GRPO拿来比较的“相对优势”信号就直接归零,这一组训练数据等于白费。

这就像带一群学生做一道大题,阅卷只看最终答案,不看过程。有个学生步骤全错但蒙对了答案,满分;另一个步骤几乎全对,只差最后一步算错,零分。两人的分数完全看不出谁的解题思路更靠谱。用这种打分方式,你没法告诉学生“你的思路是对的,继续往这个方向走”。

**

面对第一个问题,研究者的路子不是从零造新题,而是在现有简单题上动手术,把它改难。这套方法叫

Refine

具体怎么做?先用一个叫

拆出这条链之后,Refine对它做三种加工。

第一种叫

第二种叫

第三种叫

以上三步走完,还要把整条已被加工的链条重新编排成一段文字,用来描述一个新问题。论文中那道“数柱子”的题目正是这样产生的:最初只问“这个酒店叫什么名字”,经过加工后,变成一道分五段展开的长链推理题。

这里有个细节值得说一下:为什么是“先

加工完还有一道质量关。研究者会沿着改造后的链条重新走一遍,核查答案是否唯一,加进去的每个证据环节是否真的非用不可。如果去掉某个线索答案照样推得出来,说明这个线索多余,没真正增加难度,这类题会被筛掉。另外还会用一个不带工具的模型先试答一遍,要是它单靠记忆就能蒙对,说明题还不够难,同样剔除。

实际效果怎样?论文给出了具体数据。同样使用 Qwen3.5-9B,在改造前的问题集上完成训练后,平均每条搜索轨迹只需 6.6 次工具调用;而在改造后的问题集上训练完,平均需要 33.7 次工具调用,达到原来的五倍。图片搜索和图片抓取这两类需要“动图片”的工具,调用次数分别上涨 12.7 倍和 6.7 倍。可见改造后的题目确实把模型引向了更长、更依赖视觉证据的搜索路径,并非只做表面功夫。

论文还单独测了

OPD:走错路时,递上一句提醒

题目难度的问题解决之后,另一道坎是反馈太粗。研究者的思路,是把强化学习(RL)同一种名为“在策略蒸馏”的技术搭在一起用。

在策略蒸馏(On-Policy Distillation,简称OPD)

关键设计在于“学生没做对,教师才出手”。论文里管这个叫

这么安排有很实在的考虑。假设学生某次考试蒙对了答案,过程却全靠瞎猜,此时老师再手把手教他“应该这样写”,强化的其实是侥幸心理,能力并不会真正长进。只有学生确实没考好,教师的逐字批改才站得住脚。

教师给多少指导,也不是一刀切,而是看学生这次离满分差多远。差得越远,指导越重;差一点,指导就轻。这个思路很符合直觉:一个孩子考了59分,差1分及格,跟另一个考了20分的孩子,老师投入的辅导力度显然不同。

时间安排上还有个精巧的地方:教师指导的权重随训练推进按指数衰减,每十步衰减到原来的百分之一。训练刚开始,教师的声音响亮,帮学生尽快找准方向;练得越深,这声音越小,留给学生自己摸索、甚至跳出教师原有习惯的空间。

论文对此的解释很直白:训练初期,学生的搜索大概率失败,RL靠“组内互相比较”得出的信号往往很弱,甚至归零,这时教师的逐字指导是雪中送炭;可到了后期还死死跟着教师的套路走,学生可能永远达不到比教师更好的水平。好比学骑自行车,一开始家长扶着后座是必要的,一直不撒手,孩子就永远学不会自己保持平衡。

先教后放手:监督学习打底,强化学习接棒

整个训练流程并非一上来就扔给AI做强化学习,而是分了两步。

第一步,研究者先用一个更大的模型(Seed2.1-Pro)生成高质量的搜索轨迹样本,再用这些样本对一个中等大小的模型(Qwen3.5-27B)做监督微调,把它训成“教师模型”并冻结,不再更新。

监督微调(SFT)

接着,真正要训练的学生模型(Qwen3.5-9B)先在一部分相对简单的题目上做监督微调打底,再转到更难的题目集,接受前面说的RL加OPD联合训练。

“先打底再放手”也有讲究。要是一上来就让学生模型在毫无基础的情况下直接做强化学习式的自由探索,它可能连最基本的工具调用格式都搞不明白,训练效率会很低。这跟教小孩游泳一样,直接扔进深水区会呛水,得先在浅水区学会基本动作,再慢慢往深处走。

成绩单:9B的模型打出了27B的水平

设计说了这么多,效果究竟如何?论文在七个主流多模态搜索评测基准上做了测试,包括

最终训练出来的

更该说的是跟其他同量级模型的对比。论文列出的一批7B到9B规模的开源搜索智能体里,

还有个挺有意思的数字:这个9B大小的学生模型,最终表现甚至超过了没经过专门训练、只是直接用工具的27B规模Qwen3.5模型(56.7分),高出3.5分。换句话说,训练方法设计到位之后,一个小模型追平甚至反超了参数量大三倍的对手。

分阶段看训练效果也很清晰。仅做

针对需要长线搜索能力的几个高难度基准(

训练过程中,AI学会了“少走弯路”

论文还展示了一条很能说明问题的训练曲线。RL训练的19步里,模型的答题质量稳步上升,平均奖励从0.347涨到0.587。

搜索行为本身也在变,这一点更耐人寻味。前半段训练(6到13步)里,模型每道题平均调用工具26次、生成2.9万个词;到后半段(14到19步),工具调用次数掉到21.3次,生成文本缩至2.34万个词,两项降幅都接近两成。答题质量同期没掉:两段的平均奖励分别为0.525和0.544,基本持平。

换句话说,模型不光在“变强”,也在“变省”。步骤更少、篇幅更短,结果却差不多甚至更好,重复验证的动作被它省掉了。这有点像刚入行的调查员和干了多年的老手:新人查一条线索要反复确认好几遍,老手看一眼就知道这条线索靠不靠谱,直接奔关键证据去。

不过,这套方法也有没解决的地方。

论文里自己就承认了局限。Refine能把证据链的复杂度提上去,却没法完全排除一种可能:模型靠记忆抄近道,蒙对了答案,或者走了一条设计者没预料到的更短搜索路径拿到结果。另外,整套训练要看教师模型和打分裁判模型的脸色,这两者本身有偏差,训练信号就会跟着跑偏。开放网络的内容会变,工具可用性也会波动,同样的实验未必能百分百复现。

Q&A

Q1:MMSearch-OPD是什么?

A:MMSearch-OPD是一套训练多模态搜索AI的方法,把名为Refine的数据改造流程和RL加OPD的联合训练策略结合起来,目标是让AI学会长线、跨模态的深度搜索能力,而不只是简单问答。

Q2:Refine具体是怎么把简单题变难的?

A:Refine用Expand(延长推理链条)、Blur(把实体名字换成间接线索增加辨识难度)、Visualize(挂上需要查证的图片证据)三种操作,对现成的简单图文问题进行改造,让AI必须经过多步搜索才能得到答案。

Q3:MMSearch-OPD训练出来的9B模型效果怎么样?

七个多模态搜索基准测试跑下来,该模型平均准确率能到60.2%,比同等规模的常规训练模型更强,连未经专门训练的27B规模模型也被它压过一头;长线搜索类基准上的进步最明显,平均领先17.2个百分点。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌AI智能体改一处代码成功率翻8倍:Harness自我优化研究

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。在一项 SWE-

    来源 腾讯网
  2. 四个红色手提包,整齐摆放在白色展台上:一张图读懂AI写提示词时的“记忆碎片化”难题

    你有没有玩过那种小时候传话游戏,一句话从第一个人传到最后一个人,中间经过七八个人的嘴,最后出来的版本已经面目全非了。现在想象一个更离谱的版本:这句话要传给一个AI画图模型,而传话的人不是按句子传的,是按字一个一个传的。"四""个""红""色""手提包"被拆成了五段信息,每一段单独往下传。传到最后,"四个"这个数量信..

    来源 腾讯网
  3. AI视频生成提速的代价:四步生成为什么总是糊的?

    你有没有试过把一张高清照片用美颜软件疯狂磨皮,磨到最后五官轮廓还在,但皮肤纹理、睫毛、发丝这些细节全没了?这其实就是现在AI视频生成模型在做的事情,尤其是当你要求它"快一点,再快一点"的时候。**这篇论文要讲的故事,就是研究者们怎么跟这种"磨皮式模糊"较劲的。**视频扩散模型要跑得快,到底难在哪先说说背景。现...

    来源 腾讯网
  4. OpenAI下场造机!首款AI手机细节曝光,直接叫板传统手机厂商

    【TechWeb】供应链最新消息显示,富士康旗下的富智康集团已拿下OpenAI手机项目订单,负责整机组装环节。据财联社报道,OpenAI的首款手机预计最快2027年底、最迟2028年正式亮相,除组装外,立讯精密、领益智造、瑞声科技等多家苹果供应链厂商也将参与零部件供应。截至目前,富士康方面尚未对上述消息作出回应,产品的

    来源 腾讯网
  5. 1 厘米标尺竟有 12 个刻度,中南大学通报附属医院 AI 论文争议、确认存在学术不端行为

    IT之家 11 月 19 日消息,中南大学 11 月 19 日发布情况通报:近日,网络上出现对湘雅二医院、湘雅医院 3 篇论文数据和图表的质疑。学校高度重视,第一时间组织同行专家核查实验记录、原始数据、投稿记录等材料,访谈相关人员。根据同行专家核查结果,经校学风建设委员会审议,有关情况通报如下。 被质疑论文 1:“Fe

    来源 AI 行业观察
  6. 腾讯三季报:AI投入侵蚀利润,自由现金流-691亿元

    腾讯三季报AI新产品单季拖累达152亿元,资本开支暴增五倍至814亿元,自由现金流转为-691亿元,净现金变为净负债140亿元。摩根大通、摩根士丹利、瑞银均维持买入评级,认为核心业务质量足以承载AI建设成本,但共同警示:AI投入超预期侵蚀利润,现金流恶化将短期压制股价,2027年AI亏损见顶时点成关键观察窗口。

    来源 华尔街见闻
  7. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  8. 谷歌RSI新论文:自带记忆、自主迭代!

    智东西(公众号:zhidxcom) 作者 | 江宇 编辑 | 李水青智东西11月19日报道,近日,谷歌云AI、谷歌DeepMind与美国宾夕法尼亚州立大学的研究团队联合发布论文《自改进记忆,实现持续递归式自改进》(Self-Improvement Memory Enables Continual Recursive S

    来源 腾讯网
  9. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  10. 英伟达临时CEO克雷斯回应换帅疑虑:AI芯片业务照常,产品节奏不变

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。 克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望

    来源 AI 行业观察
  11. 71岁郑渊洁用AI“手搓”动画短片,停更两年后宣布全面免费开放

    【TechWeb】11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文

    来源 AI 行业观察
  12. 国产芯片三级跳:近10万颗出货后,存储与AI芯片各闯一关

    (本文作者为 冯伟冯大白,钛媒体经授权发布)文 | 冯伟冯大白今年前三季度,国内半导体产业获得的投资已经超过去年全年。投中嘉川CVSource统计的金额是3311亿元,投资事件1475起。进入11月,计算芯片企业的新融资仍在披露。资本愿意等待的产品,已经有了不同的模样。有的芯片卖进了客户机房,新资金用来准备下一代;有的

    来源 腾讯网
  13. Anthropic上市在即:创始团队多出自物理,AI大佬为何扎堆物理背景

    当年觉得自己“晚出生了一百年”,没赶上物理发现大爆发年代,当下在AI里找到了黄金时代。 史上最大IPO背后,站着一群“转行”物理学家。 美东时间11月19日,Anthropic将以代码“ANT”在纳斯达克挂牌。除公开发行外,公司还将同步进行私募配售,两部分合计募资规模最高约904亿美元;按发行价区间上限计算,完全稀释后

    来源 AI 行业观察
  14. 网易高管回应“短剧爆火”:短期吸引用户较高关注度,游戏互动优势不可替代

    网易高管罕见公开回应了AI短剧相关问题。11月19日,据网易(Nasdaq:NTES,0999.HK)第三季度财报显示,网易三季度实现净收入279亿元,同比下降1.8%;毛利润190亿元,同比增长4.8%,毛利率由去年同期的约64.1%提升至68.3%。归属于公司股东的净利润约84亿元,非公认会计准则下归母净利润约92

    来源 腾讯网
  15. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  16. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  17. 国产科幻单机《时空低语》预告片首发:22人团队投入超3亿

    首款国产科幻动作单机游戏《时空低语》全球首发预告片,引发行业广泛关注。同年8月28日,他正式做出决策:带领团队全面转向大型单机游戏开发,将此前弹幕互动赛道积累的1亿元资金全部投入《时空低语》项目,开始主机游戏研发。扎根文化原创 探索中国科幻单机游戏的独特路径不同于传统西方科幻的叙事逻辑,《时空低语》从立项之初就确立了“

    来源 TechWeb
  18. HPE发布ProLiant Gen13服务器:搭载AMD第六代EPYC,主打AI推理与安全

    【TechWeb】11月19日消息,HPE正式推出两款搭载第六代AMD EPYC™处理器的HPE ProLiant Gen13服务器。面向AI推理与智能体AI等新兴工作负载带来的计算需求,全新系列产品进一步提升计算性能、内存带宽及I/O能力,助力企业加速智能体AI、AI推理、数据分析、虚拟化、仿真与建模等多元工作负载的

    来源 AI 行业观察
  19. AI智能体“闯入”银行系统?亚利桑那州对OpenAI等企业启动刑事调查

    【TechWeb】11月19日,据路透社报道,美国亚利桑那州已对OpenAI及其他人工智能企业启动刑事调查,案件核心指向“失控AI智能体疑似入侵银行系统”事件。该州总检察长克里斯·梅耶斯(Kris Mayes)周三在芝加哥的新闻发布会上表示:“亚利桑那州对此非常担忧,我们正从多个角度审视这一问题。” 梅耶斯透露,其办公

    来源 AI 行业观察
  20. 三季度营收利润双降,网易回应短剧争夺用户注意力

    短剧的爆发让游戏大厂也感受到了争夺用户时间的压力。 11月19日晚,在网易2026年第三季度业绩电话会上,管理层被问及短剧对游戏行业的影响。网易创始人兼CEO丁磊坦言,短剧今年呈现爆炸式发展,对用户注意力的吸引力巨大,短期内确实会对游戏产生影响。 在这一表态背后,网易今日交出了一份不及市场预期的成绩单。三季度网...

    来源 腾讯网
  21. 英伟达不再被看好 美投行测算:未来算力采购协议中其份额降至28%

    伊卡洛斯是古希腊神话里的悲剧人物。他靠着工匠父亲打造的非凡翅膀一路翱翔。最终因为离太阳太近导致翅膀上的蜜蜡被烤化,羽毛散落,伊卡洛斯也从云端坠落大海溺亡。英伟达的命运会不会像伊卡洛斯一样?过去几年间,这家曾经的游戏显卡公司以令人晕眩的速度直冲云霄,一路成为AI时代全球估值最高的公司。随着黄仁勋的陨落和...

    来源 腾讯网
向下滚动自动加载更多