AI长线调查训练难在哪:题太简单、反馈太糙
你有没有玩过那种需要连环推理的侦探游戏?不是"谁是凶手"这么简单的一道题,而是你得先找到一张老照片,认出照片里的建筑,查这栋建筑的历史,顺藤摸瓜找到一场国际会议,再从会议参与者里锁定一个人,追踪他的继任者,最后在继任者纪念馆的某张照片里,数清楚几根柱子。这是一个真实的例子。论文里展示的一道训练题,起点是一...
玩过那种要连环推理的侦探游戏吗?不是问一句“谁是凶手”就完事,你得先翻出一张老照片,认出照片里的建筑,查清这栋楼的历史,顺藤摸瓜挖出一场国际会议,再从参会者中锁定一个人,追踪他的继任者,最后到继任者纪念馆的某张照片里,数清楚有几根柱子。
这不是编出来的段子。论文里就摆了一道这样的训练题:起点是一张“山间大酒店”的图片,终点是让AI去数一张体育场黄昏照片里“大屏幕下方有几根白色圆柱”。中间隔着五个阶段的查证,文本搜索、以图搜图、裁剪图片、Python计算等七八种工具都得用上。
论文要解决的正是这件事——教AI做这种长线调查。教起来比想象中难得多。
**当AI的“深度搜索”遇到简单题**
如今的多模态AI助手已经能边看图边联网查资料。丢给它一张图、一个问题,它会去搜索引擎查,去网页里扒线索,甚至拿图片反过来搜图片。这类系统近来被称作“多模态深度搜索智能体”。
多模态深度搜索智能体*:这类 AI 系统既能识别图像,也能联网查资料;面对复杂问题时,它靠一轮轮检索和推理找答案,而非只调用自己记下的知识。
可训练这类系统时,一个很现实的坎儿摆在面前:现成的训练题太简单了。
论文给出了具体对比。研究者拿Qwen3.5-9B做测试,在不用任何工具、纯靠模型自己脑子里的知识答题时,
这就像想训练一名马拉松选手,却只给他准备了百米跑道。跑完了,心率没怎么上去,肌肉也没怎么练到,场地根本不够长。不换更长的赛道,练多少次耐力也上不去,能看到的只是他把百米越跑越快,可马拉松要面对的问题,这么练解决不了。
另一个麻烦是,自己想出难题,成本极高。论文提到,构造一道需要“图谱式组合”的难题,得去采集关系数据、找配图、逐条验证证据链,往往还要人工核查,费时又费钱。
**反馈信号太弱,AI学不会“过程”**
题目太简单之外,还有第二个麻烦:即便AI真的开始做长线搜索,训练时给它的反馈也太粗糙。
现在主流的强化学习训练方式,叫
GRPO
问题是,
更棘手的是,同一道题下AI生成的好几条尝试路径如果最后得分一样(比如都错了,全是0分),GRPO拿来比较的“相对优势”信号就直接归零,这一组训练数据等于白费。
这就像带一群学生做一道大题,阅卷只看最终答案,不看过程。有个学生步骤全错但蒙对了答案,满分;另一个步骤几乎全对,只差最后一步算错,零分。两人的分数完全看不出谁的解题思路更靠谱。用这种打分方式,你没法告诉学生“你的思路是对的,继续往这个方向走”。
**
面对第一个问题,研究者的路子不是从零造新题,而是在现有简单题上动手术,把它改难。这套方法叫
Refine
具体怎么做?先用一个叫
拆出这条链之后,Refine对它做三种加工。
第一种叫
第二种叫
第三种叫
以上三步走完,还要把整条已被加工的链条重新编排成一段文字,用来描述一个新问题。论文中那道“数柱子”的题目正是这样产生的:最初只问“这个酒店叫什么名字”,经过加工后,变成一道分五段展开的长链推理题。
这里有个细节值得说一下:为什么是“先
加工完还有一道质量关。研究者会沿着改造后的链条重新走一遍,核查答案是否唯一,加进去的每个证据环节是否真的非用不可。如果去掉某个线索答案照样推得出来,说明这个线索多余,没真正增加难度,这类题会被筛掉。另外还会用一个不带工具的模型先试答一遍,要是它单靠记忆就能蒙对,说明题还不够难,同样剔除。
实际效果怎样?论文给出了具体数据。同样使用 Qwen3.5-9B,在改造前的问题集上完成训练后,平均每条搜索轨迹只需 6.6 次工具调用;而在改造后的问题集上训练完,平均需要 33.7 次工具调用,达到原来的五倍。图片搜索和图片抓取这两类需要“动图片”的工具,调用次数分别上涨 12.7 倍和 6.7 倍。可见改造后的题目确实把模型引向了更长、更依赖视觉证据的搜索路径,并非只做表面功夫。
论文还单独测了
OPD:走错路时,递上一句提醒
题目难度的问题解决之后,另一道坎是反馈太粗。研究者的思路,是把强化学习(RL)同一种名为“在策略蒸馏”的技术搭在一起用。
在策略蒸馏(On-Policy Distillation,简称OPD)
关键设计在于“学生没做对,教师才出手”。论文里管这个叫
这么安排有很实在的考虑。假设学生某次考试蒙对了答案,过程却全靠瞎猜,此时老师再手把手教他“应该这样写”,强化的其实是侥幸心理,能力并不会真正长进。只有学生确实没考好,教师的逐字批改才站得住脚。
教师给多少指导,也不是一刀切,而是看学生这次离满分差多远。差得越远,指导越重;差一点,指导就轻。这个思路很符合直觉:一个孩子考了59分,差1分及格,跟另一个考了20分的孩子,老师投入的辅导力度显然不同。
时间安排上还有个精巧的地方:教师指导的权重随训练推进按指数衰减,每十步衰减到原来的百分之一。训练刚开始,教师的声音响亮,帮学生尽快找准方向;练得越深,这声音越小,留给学生自己摸索、甚至跳出教师原有习惯的空间。
论文对此的解释很直白:训练初期,学生的搜索大概率失败,RL靠“组内互相比较”得出的信号往往很弱,甚至归零,这时教师的逐字指导是雪中送炭;可到了后期还死死跟着教师的套路走,学生可能永远达不到比教师更好的水平。好比学骑自行车,一开始家长扶着后座是必要的,一直不撒手,孩子就永远学不会自己保持平衡。
先教后放手:监督学习打底,强化学习接棒
整个训练流程并非一上来就扔给AI做强化学习,而是分了两步。
第一步,研究者先用一个更大的模型(Seed2.1-Pro)生成高质量的搜索轨迹样本,再用这些样本对一个中等大小的模型(Qwen3.5-27B)做监督微调,把它训成“教师模型”并冻结,不再更新。
监督微调(SFT)
接着,真正要训练的学生模型(Qwen3.5-9B)先在一部分相对简单的题目上做监督微调打底,再转到更难的题目集,接受前面说的RL加OPD联合训练。
“先打底再放手”也有讲究。要是一上来就让学生模型在毫无基础的情况下直接做强化学习式的自由探索,它可能连最基本的工具调用格式都搞不明白,训练效率会很低。这跟教小孩游泳一样,直接扔进深水区会呛水,得先在浅水区学会基本动作,再慢慢往深处走。
成绩单:9B的模型打出了27B的水平
设计说了这么多,效果究竟如何?论文在七个主流多模态搜索评测基准上做了测试,包括
最终训练出来的
更该说的是跟其他同量级模型的对比。论文列出的一批7B到9B规模的开源搜索智能体里,
还有个挺有意思的数字:这个9B大小的学生模型,最终表现甚至超过了没经过专门训练、只是直接用工具的27B规模Qwen3.5模型(56.7分),高出3.5分。换句话说,训练方法设计到位之后,一个小模型追平甚至反超了参数量大三倍的对手。
分阶段看训练效果也很清晰。仅做
针对需要长线搜索能力的几个高难度基准(
训练过程中,AI学会了“少走弯路”
论文还展示了一条很能说明问题的训练曲线。RL训练的19步里,模型的答题质量稳步上升,平均奖励从0.347涨到0.587。
搜索行为本身也在变,这一点更耐人寻味。前半段训练(6到13步)里,模型每道题平均调用工具26次、生成2.9万个词;到后半段(14到19步),工具调用次数掉到21.3次,生成文本缩至2.34万个词,两项降幅都接近两成。答题质量同期没掉:两段的平均奖励分别为0.525和0.544,基本持平。
换句话说,模型不光在“变强”,也在“变省”。步骤更少、篇幅更短,结果却差不多甚至更好,重复验证的动作被它省掉了。这有点像刚入行的调查员和干了多年的老手:新人查一条线索要反复确认好几遍,老手看一眼就知道这条线索靠不靠谱,直接奔关键证据去。
不过,这套方法也有没解决的地方。
论文里自己就承认了局限。Refine能把证据链的复杂度提上去,却没法完全排除一种可能:模型靠记忆抄近道,蒙对了答案,或者走了一条设计者没预料到的更短搜索路径拿到结果。另外,整套训练要看教师模型和打分裁判模型的脸色,这两者本身有偏差,训练信号就会跟着跑偏。开放网络的内容会变,工具可用性也会波动,同样的实验未必能百分百复现。
Q&A
Q1:MMSearch-OPD是什么?
A:MMSearch-OPD是一套训练多模态搜索AI的方法,把名为Refine的数据改造流程和RL加OPD的联合训练策略结合起来,目标是让AI学会长线、跨模态的深度搜索能力,而不只是简单问答。
Q2:Refine具体是怎么把简单题变难的?
A:Refine用Expand(延长推理链条)、Blur(把实体名字换成间接线索增加辨识难度)、Visualize(挂上需要查证的图片证据)三种操作,对现成的简单图文问题进行改造,让AI必须经过多步搜索才能得到答案。
Q3:MMSearch-OPD训练出来的9B模型效果怎么样?
七个多模态搜索基准测试跑下来,该模型平均准确率能到60.2%,比同等规模的常规训练模型更强,连未经专门训练的27B规模模型也被它压过一头;长线搜索类基准上的进步最明显,平均领先17.2个百分点。