大模型带小模型：加了harness，任务完成率为何仍卡在43.5%

公司来了个实习生，师傅手把手教了一个月，学到的全是"某件具体事该怎么做"，对规章制度、报销流程、请假系统却一问三不知。更离谱的是，实习生用的办公软件、内网权限、工位配置和师傅完全一样，师傅天天靠这套系统干活，实习生学了一个月，好像压根不知道公司给他配了这些工具。

这篇论文要处理的正是这个局面。只不过"师傅"换成了参数量很大的语言模型，比如8B或者30B的那种，"实习生"是从师傅那里学的小模型，比如1.7B或者0.6B参数，而那套"公司系统"，就是论文里反复提到的harness。

harness中文直译是"挽具"，指的是语言模型智能体周围的软件系统，管着模型的上下文信息、可用工具和环境反馈。拿开车打比方，语言模型是司机，harness就是仪表盘、导航和倒车雷达的集合，告诉司机"你现在在哪""还剩多少油""刚才那个动作没生效"。

研究者注意到一个很奇怪的现象：把用harness武装起来的大模型智能体蒸馏成小模型智能体时，harness这套系统原封不动保留了下来。小模型部署的时候，依然能看到仪表盘上所有提示信息。问题是，现有蒸馏方法根本没意识到这一点，还是按老套路，把harness提供的信息当成普通输入的一部分，一股脑喂给小模型去模仿大模型的完整输出。

这就好比给实习生配了跟师傅一模一样的办公系统和权限，培训时却只教他"师傅今天做了什么"，从没人告诉他"系统弹出这个提示的时候，你该怎么反应"。结果实习生看着弹窗，完全不知道这跟自己该做的决策有什么关系。

蒸馏之后，小模型到底在学什么

先厘清一个基本概念。

蒸馏是一种让小模型学习大模型能力的训练方法，常见做法是让小模型模仿大模型的输出，在参数量小得多的情况下尽量逼近大模型的表现。

论文关注的是一种叫on-policy distillation的蒸馏方式，论文中简称OPD。

OPD并不让small model直接照搬大模型产出的所有数据。做法是先让小模型自己去执行任务，每走到一个节点，就在那儿问大模型“换成你会怎么处理”，然后拿大模型的回答来修正小模型。这么一来，训练数据和模型实际会碰到的情形就对得更准，也不会出现“大模型走的路线，小模型根本走不到”的脱节。

听起来OPD已经很合理了：师傅跟着实习生实际的工作场景走，发现做错的地方就纠正，这难道不是最好的教学方式吗？

论文里一组扎实的实验数据直接打破了这个预期。研究者在ALFWorld上做了实验，这是一个要求智能体在虚拟家庭环境里完成"把苹果放进冰箱"之类任务的测试平台。给OPD加上harness以后，小模型对harness信息的利用率，也就是论文里的harness utilization，衡量模型下一步动作跟harness报告的信息是否一致，只是从65.7%涨到了73.1%；最终任务完成率，即success rate，简称SR，却几乎没动，只从43.1%涨到了43.5%。换句话说，花了力气加harness，小模型好像"看懂了"一点仪表盘，该做错的事情还是照样做错。

这组数字很反直觉。按常理，给学生看更多的参考信息，他应该学得更好才对。为什么harness利用率涨了，任务表现却几乎原地踏步？

研究者的解释是，OPD这种训练方式存在三个结构性漏洞，而这三个漏洞恰好都跟harness有关。

问题出在哪：三个被忽略的细节

第一个问题，是OPD把harness的作用完全藏了起来。

想象一下你在教实习生处理客户投诉。大多数时候，投诉内容很常规，老师傅凭经验就能处理好，根本用不上后台系统里那些复杂的查询功能。可偶尔会出现棘手情况，系统弹出一条警告，提示"这个客户过去三次投诉都没解决"，这时候老师傅的处理方式会完全不同，他会立刻升级处理流程。

可问题在于，假如只让实习生从头到尾看师傅处理投诉，却不特意点明“这回师傅是瞧见系统警告才改了做法”，实习生多半根本察觉不到：真正让决策拐弯的，正是那条警告。论文里说，教师模型的一部分表现原本就来自harness给的信息，表2的数据也显示，有harness和没harness两种条件下教师的表现差得挺明显。偏偏OPD对每一步都一视同仁地监督，从没专门挑明“就是这一步，harness信息让老师改了主意”，也没让学生瞧见“要是没有harness，老师原本会怎么选”。

第二个问题，是OPD分不清harness给了什么、老师自己又加了什么。

harness只管给信息和反馈，比如提醒你“这个盘子还没洗干净”。可收到这条信息之后怎么办——是端去水槽再洗，还是直接塞进柜子——这种决策本事归老师自己，harness替不了。论文开头那张图里有个很说明问题的例子：学生模型明明读到harness报告“盘子还没洗干净”，动作却是把盘子直接放进柜子，压根没搭理这条关键信息。可见学生模型根本没学会“看到信息之后该怎么动手”，它可能只是把老师大多数时候的操作路径照猫画虎地模仿了一遍。

第三个问题，是OPD会原封不动地接受老师犯的错。

这恐怕是最容易漏掉的一层。论文援引此前的研究指出，在学生实际走过的那些状态上，教师模型的可靠性会降低，也就是说，老师并非每次都判断正确。更棘手的是，harness自带的记录本来就能戳穿老师的错误——比如某个目标要求“拿着某件物品才能操作”，而harness已经清楚记下当前手里空着，这个目标本身就自相矛盾。OPD压根不做这类核对，照样把这种前后打架的目标一起教给学生。

这套方案在论文里写作 Harness-Aware Distillation（简称 HAD），中文可理解为“感知 harness 的蒸馏”，核心思路是让小模型专门去学大模型独有的那部分本事。

弄清楚问题根源之后，研究者给出的解法其实并不复杂。

小模型上线后同样能读到 harness，因此它没必要把 harness 已经告知的信息再学一遍；真正要掌握的，是老师在面对 harness 信息时作出正确反应的能力，而这恰恰是 harness 自身无法替代的部分。

说白了，HAD 就是让模型学会“看到 harness 之后该怎么办”。

整体结构上，HAD 保留了一块基础内容，即 response distillation（响应蒸馏），也就是前文提到的、在 harness 开启状态下进行的那套标准 OPD 训练，这部分原样不动。在此之上，HAD 又添了两样新东西。

头一个新组件，是 harness 感知的动作偏好学习。

落地方式是：在学生走到的每个状态上，用两条路径去问同一个老师模型——一条把 harness 信息完整摆给老师看，观察它挑哪个动作；另一条把 harness 信息遮住，只给老师看环境的原始信息，再看它挑哪个动作。按理说，带着 harness 信息做的判断更靠得住，于是带 harness 的那个动作被标成“偏好的”，不带的则标成“不偏好的”。

设计上的关键细节在于：这两个动作的打分并不放在老师自己的思考过程之下，而是接在学生自己生成的思考内容后面。换句话说，公式里比的不是“老师出于什么理由选了这个动作”，而是“先让学生自己想一遍，再分别接上这两种动作，学生对哪一个接受度更高”。理由很直接：学生上线后靠自己的推理去选动作，并不会照搬老师的推理过程，所以训练时也该在学生自己的推理语境里做这个对比，这样才和真实使用场景对得上。

这里得讲一个类比，因为这个设计决策背后藏着一个容易被忽视的坑。

设想你在教一位新司机应对突发路况。你不会只把“老司机碰上这种情况时心里怎么想”那一长串内心独白丢给他，让他连独白带最后动作一起模仿。老司机的内心戏可能很啰嗦，塞满只有他自己才懂的经验术语，新司机硬背这些话，反而容易被带偏，学来一堆跟当下路况无关的思维习惯。更合理的做法是让新司机先自己形成判断，然后告诉他“在你刚才那个判断基础上，正确的做法该是刹车还是打方向盘”。这样新司机学到的，才是跟他自己思维方式兼容的决策规则，而不是去模仿一段他用不上的内心戏。

论文用数学推导专门证了这件事：如果直接比较老师完整的回答（推理过程加动作），由于推理文字通常比动作长得多，这个对比信号很容易被推理内容的差异淹没，训练信号因此被稀释，甚至会改变本该学到的动作排序，哪怕两种情况下老师真正选的动作概率并没有变。实验数据也印证了这一点（附录表15），完整响应对比的方案确实不如只比较动作的方案。

第二个新组件，叫做 harness 感知的动作有效性过滤。

它要对付的，就是前面说的“老师也会犯错”。做法是用一个校验器去查那个被标为“偏好”的动作，看它是否跟 harness 已记录的事实相矛盾。比如动作要求你拿着某件物品操作，可 harness 明确记着你手里空着，这种明显站不住脚的动作，校验器会把它从偏好学习的训练数据里剔出去，不让它参与那部分训练。

有个细节值得留意：过滤只作用在偏好学习这一块，响应蒸馏那边的训练不受影响。也就是说，哪怕老师给出的某个动作被判无效，老师当时完整的回应内容仍旧原样进入响应蒸馏的训练流程。这样设计的道理是，过滤器只是在保护偏好学习这个相对“脆弱”的信号，并不打算取代整个教学过程去做绝对正确性判断——毕竟校验器自己也判断不了一个动作是不是“有效但不够聪明”，它只能挑出明显自相矛盾的那部分错误。

打个比方，这像公司质检部门抽查产品：质检员的职责是挑出明显有缺陷、不符合基本标准的产品，不让它们流入某个特殊的高质量展示渠道。但质检员判断不了一个产品“合格但是设计平庸”，那种更细腻的判断，不是质检这道关卡该管的事。如果质检环节想把所有判断都揽下来，整个流程反而会变得不可靠，所以合理的做法是分工：质检只挑明显的硬伤，剩下的交给其他机制。

为什么这套对比能提供模仿学不到的信息

这里有个挺有意思的理论问题值得多说两句，因为它直接关系到 HAD 为什么真的管用，而不只是看着有道理。

论文用了一个数学论证来说明。简单讲，如果你只靠模仿老师带着 harness 信息时的回答（也就是传统的 response distillation），理论上你能学到的东西完全由“老师带着 harness 时会怎么回答”这一个概率分布决定，跟“老师不带 harness 时会怎么回答”毫无关系。

可问题在于，光知道“老师倾向于选哪个动作”，并不能告诉你“这个倾向是不是 harness 信息造成的”。论文给了一个很直观的反例：假设老师带着 harness 信息时，在动作 A 和动作 B 之间各有 50% 的概率选择，而老师不带 harness 信息时有两种可能，一种是 75% 概率选 A，另一种反过来是 75% 概率选 B。这两种情况下，“带 harness 时的回答”完全一样，意味着无论哪种情况，纯模仿学到的东西没有任何差别，可实际上这两种情况揭示出的 harness 真实作用完全相反。只有去问“不带 harness 时老师会怎么选”，才能把这个差别暴露出来。

这个论证听起来绕，换成日常场景就好懂了。设想两个新人跟着同一位老师傅处理两类投诉，两次老师傅在系统给出提示时，选A和选B各占一半。只看这个结果，两个新人学到的东西似乎没差别。可要是老师傅在没有提示的情况下，第一类投诉本来就75%倾向A（提示把他往B推），第二类投诉本来就75%倾向B（提示又把他往A推），那提示在这两类投诉里起的作用方向恰好相反。偏偏只盯着"有提示时老师傅怎么选"，这个差别根本看不出来，得对比"没提示时他会怎么选"才行。

HAD专门设计"带harness和不带harness"的对照，原因就在这里：它要抓的信息，纯模仿方法在理论上永远抓不到。

实验结果：小学生打赢了大老师

道理讲再多也不如实测。这篇论文最有分量的部分，是把HAD放到三个长程智能体任务上，跟多种现有方法逐一过招。

三个环境分别是ALFWorld（家庭场景文字游戏）、WebShop（网购模拟）和ScienceWorld（科学实验模拟）。模型选用Qwen3家族：ALFWorld上由8B模型当老师、1.7B模型当学生；另外两个环境里，老师是30B参数（实际激活3B参数的MoE结构）的模型，学生是0.6B。为了确认这套方法不是只对某个模型家族有效，团队还拿Gemma家族（12B教师蒸馏到E2B学生）在ALFWorld上重做了一遍。

拿来对比的基线有四个：标准OPD、SAGE-OPD（按老师判断的每步纠正强度加权）、Guided-OPD（老师逐步减少接管学生决策的比例）、SOPD（每个状态都让老师写出一整步完整示范）。

结果非常清楚。

ALFWorld里，HAD在未见过任务（unseen）上的成功率是63.43%，见过任务（seen）上是51.43%，两项都排第一。最强的基线OPD只有47.01%和40.00%。更夸张的是，63.43%这一数字甚至高过8B教师模型自己带harness时51.49%的表现——1.7B的学生最后比它的8B老师做得还好。

WebShop里HAD拿到47.19分、成功率19.60%，同样领先所有方法。ScienceWorld情况特殊，多数基线甚至是负分（说明没训练好，分数比零还低），HAD得分4.17、成功率9.40%，是唯一真正做出正向改进的方法。

换到Gemma家族重做，HAD依旧最好：未见任务成功率37.31%，见过任务36.43%，都明显压过第二名SOPD的32.09%和34.29%。跨模型家族都能一致，说明提升来自"对比harness有无"这套设计本身，而不是碰巧合上了某种模型架构。

把harness拿掉之后，才看出真正的差距

论文里有个很巧的设计：评估阶段故意撤掉harness，看模型会掉多少。

结果显示，去掉harness后HAD的成功率从63.43%降到40.30%，跌幅是所有方法里最大的。乍看像坏消息，细想反而证明HAD学到了该学的东西——它对harness的依赖明显高于其他方法，这正说明训练重点确实放在了"怎么利用harness信息"上。更关键的是，即便撤掉这根拐杖，HAD的40.30%仍高过绝大多数带着harness的基线方法。

好比一个真会开车的司机和一个只背熟固定路线的司机。导航一撤，会开车的虽然慢些，照样能到目的地；只背路线的没了提示，可能直接迷路。HAD表现出的正是前一种特征。

长程任务里最头疼的问题：原地打转

论文还做了一项很有价值的分析，盯的是智能体跑长任务时常陷进去的一种困境：反复执行同一个无效动作，也就是俗称的"卡死在循环里"。

研究者设了两个指标。"预防率"看整个任务过程中完全不陷入循环的比例；"恢复率"看一旦陷进去，智能体能成功脱身的比例。

两项指标上HAD都明显领先。预防率75.9%，其他方法里最高的也只有64.6%（教师模型本身）。恢复率HAD是59.7%，没训练过的学生本身是46.8%，而几乎所有经过标准蒸馏训练的基线，恢复率反而低于没训练过的学生（比如Guided-OPD只有18.8%）。这说明标准蒸馏压根没教会学生怎么从卡死状态脱身，有的方法甚至把学生原本还算可以的这个能力练弱了。

论文给了一个很直观的案例。任务是把杯子加热后放进柜子，环境规则是加热只对手里正拿着的物品有效。所有学生模型开头都犯了同一个错：把杯子放进微波炉，然后空着手去加热，结果什么也没发生。基线方法就这样一遍遍重复同一个动作，直到步数耗尽，彻底失败。HAD也掉进了同一个坑，但不同的是，连续五步没观察到新状态后，harness弹出一条"进度停滞"警告；HAD看到警告，把杯子重新拿回手里，harness随即更新记录显示"你正拿着杯子"，HAD立刻据此加热，任务完成。

这个案例有说服力的地方在于：它展示的不是HAD一开始就比别人聪明，而是HAD犯了完全一样的错之后，具备别人没有的止损能力。

harness里哪部分被学进了模型权重，哪部分还得靠外部提示

论文末尾讨论了一个更深层的话题，叫 harness internalization，也就是harness内化。它说的是：模型在训练过程中，把本来要靠harness才能拿到的某种行为能力，一点点收进自己的参数权重里；等到harness的某部分功能被撤掉，模型照样能凭自己做出正确反应。

研究者把harness的功能分成两类分别检验。第一类是状态追踪（state tracking），涵盖可用动作列表、当前所在位置与持有物品、访问历史、剩余步数等信息；第二类是行为监控（behavior monitoring），包含失败动作提醒和停滞提醒。

实验做法是藏掉其中一类信息，再看HAD的表现如何变化。结果挺有意思：把状态追踪信息藏起来后，HAD在未见任务上的成功率从63.43%跌到37.31%，掉了超过26个百分点；藏掉行为监控信息后，成功率是56.0%，只下降约7个百分点。另一个实验更直接，把harness判定为无效的动作强行屏蔽掉，不让模型选那些动作，成功率降到55.22%，比完整harness条件下还差。

这组对比透出的信息很细：HAD似乎确实把行为监控里那部分“什么时候该改变策略”的反馈，部分吸收进了参数权重，所以拿掉这部分提示，它受到的冲击相对小。可状态信息——你手里现在拿着什么、去过哪些地方，这类纯粹的事实记录——HAD依然高度依赖外部harness提供，它没办法把“我现在到底在哪、拿着什么”这种实时状态凭空记在脑子里。至于屏蔽掉harness认为无效的动作反而让表现变差，说明HAD更适合把harness当成一种可参考、可权衡的信息来源，而不是强制性的硬约束。这个发现对以后设计harness也算个提醒。

其实这挺符合常理。想象一个人在陌生城市里导航，哪个路口该左转这种临场反应技巧，经验多了确实会内化成直觉；但这座城市具体有多少条街、你眼下走到了哪个路口，这种纯粹的事实信息，经验再多也没法脱离地图凭空知道。

再拆开看每个零件值多少。论文做了细致的消融实验，把HAD的各个组件逐一拿掉，观察成绩怎么变。

去掉有效性过滤这一步，也就是不再剔除自相矛盾的偏好动作，成功率从57.4%掉到50.8%，说明这个过滤机制确实在保护任务表现，防止学生学到老师犯的错。去掉负样本对比，也就是只让学生模仿harness条件下的正确动作、不再跟不带harness的动作作对比，成功率掉到52.4%，harness利用率从81.0%跌到74.4%，几乎回到只做基础响应蒸馏时73.1%的水平。可见正负对比机制是harness利用率提升的主要来源。如果整个偏好学习部分都去掉，只剩最基础的响应蒸馏，成功率直接掉到43.5%，跌幅最大。

三个组件各管一摊，数据把这一点摆得很明白：少了其中任何一个，整体效果都会掉下来。它们之间是互补的，并非那种可以彼此顶替的冗余设计。

论文还顺带排除了一种可能的质疑：HAD会不会只是因为多查询了一次老师模型——带harness和不带harness各问一次——才表现更好，跟设计本身没关系？研究者让基线方法也用两倍的教师查询预算去训练，结果OPD的平均成功率只从43.5%涨到46.7%，SOPD从43.5%涨到46.8%，远远达不到HAD的57.4%。这说明HAD的优势不是靠“多问了一次老师”这种投机取巧，而是真的来自这个对比结构本身捕捉到的信息。

写在后面

读完这篇论文，最触动我的其实不是HAD这个方法本身有多精巧，而是它提出的那个基本视角：蒸馏一个带着外部工具或辅助系统的智能体时，真正该问的不是“学生能不能模仿老师的全部行为”，而是“学生到底缺的是哪一部分，是工具提供不了的那部分吗”。

这个视角可以推广到很多场景。比如现在不少AI系统都会配上检索增强（RAG）或者各种外部工具调用能力，如果你想把一个用了这些工具的大模型蒸馏成小模型，按这篇论文的逻辑，真正该教给小模型的不是“怎么使用这个工具”——工具接口是固定的，小模型部署时照样能调用——而是“面对工具返回的信息，该如何做出正确判断”。这个区分挺容易被忽视，大部分蒸馏工作可能默认把“系统能力”和“模型能力”混在一起训练了，没想清楚哪部分其实是外部基础设施已经提供好的。

论文里还有一处细节让我记了很久，就是那个数学论证，专门回答“完整响应为什么不能直接比”。它给出的反例很简洁：即便两种情形下老师最终给出的行为概率一模一样，底下藏着的因果联系也可能正好相反，而单纯靠模仿的办法，永远没办法把这种差别露出来。说到底，不少看上去“够用”的模仿学习做法，本身就带着一块信息盲区。问题不在方法抠得够不够细，而在于这类学习范式从结构上就学不到某类信息，除非你特意设一个对比机制，把它挖出来。

论文自己也列出了几处没解决的问题。目前这套方法只在参数量不算大的模型上做过验证，学生最大2B，老师最大30B，至于工具调用更复杂的软件智能体场景里还管不管用，尚未测试。再有，harness是研究者手工设计的，假如以后harness改成通过学习自动生成或优化，这套方法要不要跟着改，论文同样没有作答。

还有个问题可以接着追下去：要是harness自己也在持续进化、越变越聪明，那么“学生该学什么、harness该提供什么”这条线，会不会也跟着挪动？真到了那时候，是不是得有一套新办法，来重新划这条线？

Q&A

Q1：Harness-Aware Distillation是什么？

A：Harness-Aware Distillation，简称HAD，是一种蒸馏方法，专为带harness（辅助软件系统）的语言模型智能体而设计。它让小模型专门去学大模型在harness信息辅助下如何做出正确决策，而非把harness信息当作普通输入整体模仿。

Q2：HAD和标准的在策略蒸馏（OPD）有什么区别？A：标准OPD的做法，是让学生模仿老师在harness开启状态下给出的完整回答。HAD则多了两个机制：一是对比老师在有无harness信息时选择的动作差异，二是用harness记录过滤掉老师给出的自相矛盾动作。这样一来，教学生利用harness信息就更精准了。

Q3：HAD在实验中的表现如何？A：在ALFWorld环境中，HAD训练出的1.7B学生模型未见任务成功率达到63.43%，超过了它的8B教师模型本身51.49%的表现。在WebShop、ScienceWorld等多个环境以及Gemma模型家族上，结果也都优于其他蒸馏方法。