清华：Agent蒸馏该学状态决策还是照抄轨迹？动作级在线蒸馏ActionOPD
sina qqZone renren ydCloud 0
大语言模型正加快以Agent形态落地，多轮工具调用、复杂环境交互都是其施展场景。前沿大模型推理成本高，把它们的决策能力迁移到轻量级模型上，成了眼下Agent研究绕不开的课题。
不过，Agent和单轮文本生成不一样：它每一步输出都会改变环境状态，后续轨迹也跟着变。这就带出两个基本问题：
1. 监督该放在什么状态上？是教师走过的预设轨迹，还是学生实际遇到的状态？
2. 对齐该用什么粒度？逐Token去拟合词表分布，还是在更高层的“动作语义”上对齐决策？
清华大学研究团队围绕这两个问题提出了ActionOPD（Action-level On-Policy Distillation）。做法是在学生实际访问到的状态下，把高层“语义动作”当作监督单元，既避开状态分布偏移，也让教师决策监督与学生Token表达彻底解耦。
- 论文标题：ActionOPD: Distilling Decisions, Not Tokens
- 作者团队：清华大学 Huining Yuan*、Xiangmin Yi*、Zelai Xu、Zixu Wang、Xinlei Chen、Xiao-Ping Zhang†、Yu Wang†、Chao Yu†
- 论文链接：https://arxiv.org/abs/2610.19820
- 项目主页：https://thu-nics.github.io/ActionOPD/
- 开源代码：https://github.com/thu-nics/ActionOPD
- 模型权重：https://huggingface.co/collections/nics-efc/actionopd
一、从“逐字模仿”到“决策对齐”：
Token级蒸馏的局限在哪？
先看当前主流的两类Agent蒸馏范式（图1），它们在多轮交互中各有各的掣肘：
- 离线知识蒸馏（KD/SFT）：在教师轨迹上逐Token模仿。训练没覆盖失误状态，学生测试时一旦偏离预设轨迹，就会因状态分布偏移而性能骤降。
- Token级在线策略蒸馏（Token-level OPD）：在学生采样轨迹上对齐教师Token分布。状态偏移有所缓解，但它强依赖教师白盒log-prob和同源Tokenizer，黑盒或跨家族蒸馏很难用上，而且仍要求逐字模仿教师的推理。
图1：Agent蒸馏范式对比。离线KD在教师轨迹上模仿Token；Token级OPD在学生轨迹上对比Token分布；ActionOPD则是在学生访问的状态上，直接奖励与教师动作“语义一致”的回复。
说到底，上面两类方法的监督还是落在Token层面。ActionOPD的核心洞察是：多轮交互里真正让环境状态发生转移的，是“语义动作”，不是具体的Token序列。Agent单步输出分内部推理和外部动作：内部推理不直接作用于环境；外部动作不管是工具调用（看函数与参数的语义）还是用户回复（看沟通意图与核心事实），都存在多种等价表达。比如“基础经济舱不能改签”和“这类机票不支持变更”，措辞不同，表达的限制是一样的。所以，要想让学生在决策层面而非字面表达上对齐教师，蒸馏目标就不该是拟合某个Token序列，而应最大化学生在当前状态下做出教师同义动作的整体概率。
二、ActionOPD方法揭秘：
把动作语义一致性变成强化学习奖励
2.1 从动作似然自然导出策略梯度
“对齐动作而非Token”的目标定下来后，核心问题就来了：高层语义动作不再对应唯一固定的Token序列，这个动作级概率该怎么优化？
在语言模型里，同一个语义动作可以由多种推理路径和措辞实现，所以学生做出某个语义动作的总概率，等于所有能表达该语义的回复序列概率之和。直接遍历求和不现实，论文在理论上证明了一个简洁的等价关系：在学生实际访问的状态下，对“期望教师动作似然”求梯度，可以严密转化为经典的REINFORCE策略梯度——“学生回复与教师动作是否语义一致”正好充当策略优化的奖励信号，而且通过有限采样就能高效估计。
这个性质带来两个直接优势：
1. 纯黑盒接口、跨家族兼容：只要分别从教师和学生采样回复，判断动作是否语义等价，就能构造蒸馏奖励，不需要教师Token log-prob，也不需要同源Tokenizer。
2. 动作监督与自主推理解耦：动作级奖励统一加权单步生成的所有Token，直接强化学生自主生成的推理链与动作表达，不用逐字模仿教师的思维链。
2.2 State-Group Rollout与策略更新
如图2所示，为了把上述理论落到多轮训练中，ActionOPD设计了State-Group Rollout（状态组采样）机制：
第一步是让师生动作并行采样。系统在每个访问到的状态上，同时采多个教师动作，再采一组学生候选回复。
接着做动作级语义匹配打分。内部思维链不参与比对，只把外部动作提出来看语义是否一致：工具调用走参数规范化，判断操作语义是否相同；用户回复则交给LLM，比对沟通意图和关键事实。命中教师采样就能拿到基础正奖励，若同时匹配多个教师样本，还会有小幅频次加成；非法输出则要扣分。
环境推进和策略更新这两件事被分开处理。推进环境时，只提交执行组里得分最高的那个动作，用教师偏好把学生引向信息量更大的状态；更新参数时，组内全部候选都会被拿来计算归一化相对优势，再通过PPO风格的裁剪目标更新学生权重。
图 2 展示 ActionOPD 在单状态下的流程：先拿学生候选和教师采样集做语义匹配并打分，得分最高的动作会被提交执行、推动环境往前走，而组里的所有候选都拿来更新策略。
三、实验结果：
跨基准泛化、跨家族蒸馏与真实案例
这种“学决策而非抄 Token”的路子到底行不行？研究团队从三个维度做了验证：跨基准与跨家族泛化、同族蒸馏的受控对比，以及真实交互案例。
图 3：ActionOPD 的 Student–teacher scaling 特性。
表 1：跨基准零样本迁移表现（%），绿色上标为相对同尺寸 Base 的平均提升。
- 四大未见基准全面提升，跨家族也能扩展：研究团队在 AWM 与 EnvScaler 上做蒸馏训练，教师分别用同族的Qwen3.7-Flash和异构的DeepSeek-V4-Flash，学生是Qwen3-4B/8B。图 3 与表 1 显示，四组配置在四个没见过的基准上零样本泛化，表现都比 Base 提升明显，还呈现出清楚的双向扩展规律：8B 学生一直好于 4B；决策能力更强的异构教师DeepSeek-V4-Flash，在两个学生尺寸上都蒸出了比同族教师更好的成绩。这说明 ActionOPD 能绕开词表限制，教师选择看的是决策质量，而不是架构是否同源。
- 再看离线 KD 与 Token 级 OPD 的对比：表 2 是 τ²-bench 上的同族受控实验，用 Qwen3-32B 蒸馏 Qwen3-4B。ActionOPD 不需要教师的 Token 概率，表现却和 KD/OPD 基线不相上下：测试集单次成功率 pass¹ 比 Base 高出10.8 个百分点，领先两类基线；四次全成功率 pass⁴ 也比 Base 接近翻倍，虽然略低于直接约束 Token 分布的基线，但换来的是只需黑盒文本接口、天然支持跨家族蒸馏的灵活性。
表 2：τ²-bench 蒸馏方法对比（单次成功率 pass¹ / 四次全成功率 pass⁴，%)。
- 真实交互轨迹上的行为改进：指标之外，训练前后的轨迹对比还露出三类典型的行为变化，说明动作级蒸馏确实优化了决策策略：
1.业务规则守得住：航空场景里遇到禁改的基础经济舱，Base 还是盲目调 API 违规改签，ActionOPD 则守住规则，合规转接人工；
2.信息源和操作目标分得清：零售场景要从历史订单里取地址来改当前订单，Base 把源订单和目标订单搞混，结果漏改，ActionOPD 则把“查源地址 → 改目标订单”这条链路走对了；
3.操作闭环和结果核验补得全：电信场景里缴费后不会自动复机，Base 只口头承诺恢复，却漏了调工具，ActionOPD 会主动调用 resume_line 复机，并指导用户核验 SIM 卡。
四、Self-ActionOPD：
利用特权上下文实现同模型自蒸馏
ActionOPD 只要求对齐外部动作语义，并不强求模仿内部思维链，那自然会想到一个问题：要是没有更强的外部教师，同一个模型能不能靠“信息差”自己蒸自己？
Self-ActionOPD 里，同一个Qwen3-4B既当老师又当学生：教师端多喂了未公开的用户目标、隐含规则和参考动作提示等特权上下文，学生端只拿公开上下文。因为只对齐外部动作，学生不用去模仿教师基于特权信息做的内部推理，而是直接学着在公开上下文下做出和“开卷教师”一样的决策。训练完撤掉特权信息，只用公开上下文独立测试。
表 3：Self-ActionOPD 在 τ²-bench 上的实验结果（%)。
表 3 显示，自蒸馏后的 Qwen3-4B 在测试集上pass¹ 提高 4.8 个百分点、pass⁴ 提高 2.5 个百分点，三个子领域全部上涨。模型能把“特权视角”下的高质量决策变成常态能力，这给 Agent 自我进化探出了一条可行路径。
五、总结与展望
按“学决策而非抄 Token”的思路，ActionOPD 把期望教师动作似然转成带语义奖励的在线策略优化，只靠黑盒文本接口就能打通跨家族在线蒸馏和同模型自蒸馏。往后还有几处值得深挖：怎么结合环境验证信号把教师失误滤掉、怎么降低复杂动作的匹配误差、怎么在多合理路径的状态里提高采样覆盖率。目前代码与模型权重均已开源，项目主页与 GitHub 仓库有更多细节。
