长程智能体（long-horizon agents）的工作内容，正从“修一个 bug”转向连续数小时的终端操作与编程；可这类模型的强化学习训练开销极大。头部实验室能拿数千张 GPU 去铺 RL，多数团队却没这个条件——一条训练样本常常意味着 3 小时、上百轮工具调用的完整跑一遍，中间哪一步出了岔子，搭进去的都是好几个小时的 GPU 时间。

近日，Wenbo Hu、Nanyun Peng、Dakuo Wang、Kai-Wei Chang 等研究者在 Agent Economics 博客上公布了 FireFlash。它由 GLM-5.3-Flash 出发，经过全参数强化学习训练，是一个 300B 级的终端与编程智能体。

在 Terminal-Bench 4.0 上，FireFlash 的 Pass@1 为 46.2%，与 Fable 5、GPT-6 Sol 站在同一档；单个任务的成本则比最高推理强度下的 Fable 5 便宜 30 倍以上。这一进步同样体现在 DeepSWE v1.1 和 SWE-Bench Pro Verified 两个软件工程基准上。训练全程只动用 64 张 NVIDIA B300，耗时不到 5 天，团队还把完整的训练配方一并公开。

• 博客标题：FireFlash: An Open Recipe for Long-Horizon Agentic RL Achieving the Performance-Cost Pareto Frontier

• 博客地址：https://agenteconomics.org/posts/agentic-rl-recipe

图 1：Terminal-Bench 4.0 上 Pass@1 与平均单任务成本（对数坐标）的关系。虚线为 Pareto 前沿，箭头为 FireFlash 相对 GLM-5.3-Flash 的提升。由于模型由团队自行部署，FireFlash 按 GLM-5.3-Flash 的公开价格计费。

表 1：三个基准上的 Pass@1（5 次试验取平均）。GLM-5.3-Flash 为其在各基准上的官方成绩，FireFlash 在团队自己的 harness 中评测。

百卡级集群，

如何做到 Pareto 前沿？

团队以GLM-5.3-Flash为起点做全参数RL，这个模型总参数321B、每个token激活17.4B，训练覆盖全部320B语言参数（含MTP层），视觉塔与DSA索引器则被冻结。在他们看来，百卡级集群同样能跑出前沿级的训练效率，前提是三件事做到位：智能体RL环境要精挑细选，让每个任务都在合适的难度上给出可靠信号；RL配方要专门照顾长、陈旧、低精度的rollout；再有一套模型优化、训练与评测共用的编程harness（智能体运行框架）。后训练流程里有五个关键环节，团队逐一做了重新审视和优化：

① 基础设施：GPU不必等最慢的那次尝试。训练和rollout各配一组专属GPU，rollout最多可以落后6个权重版本仍参与训练，MTP把解码加速到1.38倍；每次尝试都跑在独立的microVM里，因基础设施故障损失的rollout组从12%降到0.5%。

② 任务筛选：每个rollout组都得带信号。任务只有在与训练完全一致的条件下至少采样4次、初始通过率落在15%–85%之间才会被保留，零信号rollout组的占比因此从48%降到10.2%。

③ 奖励：分数只给真正的解答。任务入池前要过九道验证关卡，终局部分分经过校准；再对更短的解答给效率奖励，每次解出消耗的token数降到原来的0.84倍，准确率没有下降。

④ Harness：长程任务要装得进上下文，训练与评测还得一致。上下文压缩、把输出重定向到文件、后台执行这三招让单次试验成本降低约33%；训练和评测共用同一套harness，在任何RL开始之前，GLM-5.3-Flash就比Claude Code高出4.4个点。

⑤ RL目标：陈旧的FP8样本照样能驱动学习而不漂移。做法是GRPO加上截断重要性采样、top-k分数中心化、成功偏移与损失下限，不用KL惩罚和熵奖励也能稳住，被截断的token只占1%–3%。

基础设施：

完全异步的RL

核心经验1：闲置的GPU比陈旧的rollout代价更高——采样和训练各自全速跑。

训练与采样分开用卡。一半GPU以BF16跑slime框架做训练，另一半跑SGLang推理引擎，权重与KV cache都用FP8。每个训练步结束，新权重经NCCL同步到rollout引擎，训练和采样互不阻塞（图2）。

拿陈旧的rollout来训练。采样一直在进行，某一轮（turn）可能出自落后训练器数步的权重；只有权重版本落后6个以上时才会被丢弃。策略陈旧带来的偏移不大：训练器与rollout之间的log概率差距，陈旧1个版本时为0.065，陈旧4–6个版本也只升到0.08。

rollout要快，还要隔离。借助模型原生的多token预测（MTP）头做投机解码，解码速度提升1.38倍。每次rollout和打分都由AgentENV在独立的Firecracker microVM中执行，尝试之间彼此隔离，因基础设施错误损失的rollout组占比从12%降到0.5%。

图 2 展示的是完全异步的强化学习流程：rollout 和训练各占一半 GPU，谁也不等谁。推理引擎不停采样，每一次尝试都跑在独立的 microVM 里——这个 microVM 由该任务所属的父 VM 派生（fork）而来，耗时不到 100 毫秒。跑完的组会排进队列，等训练器来取批。所有尝试得分相同的组直接丢弃；由 6 个以上版本之前的权重采样出的轮次，不产生梯度。训练器每完成一次更新，就把新权重推给推理引擎。

任务筛选：

训练只挑模型「拿不准」的地方

核心经验 2：rollout 要花在模型自己没把握的任务上，而且衡量这种不确定性时，条件必须和训练时完全一致。

GRPO 的学习依赖同一任务多次尝试之间的相对差异。模型每次都能解出、或者永远解不出的任务，会白白消耗一整组 rollout，给出的学习信号却是零。为此，团队先用基座模型对每个候选任务做至少 4 次 rollout 摸底，只留下初始通过率落在 15% 到 85% 区间的任务。摸底严格照搬训练配置——harness、推理强度、上下文窗口、轮数预算、沙盒，一项都不改，因为任务的通过率跟其中每一项都相关。筛选之后，零信号 rollout 组的占比从 48% 降到 10.2%。最终训练数据里，长程智能体任务约占 52%，软件工程任务约占 48%（图 3）。

图 3 是训练数据的构成。橙色部分为长程智能体任务，共 52%：团队自建的长程智能体任务占 30%，其困难档占 11%，长程编程技能占 9%，公开的 MiMo-TB 与 Tasksmith 各占 1%。蓝色部分为软件工程任务，共 48%：公开的 MiMo-code 占 18%，团队自建的 SWE 任务里，以 Python 为主的占 18%，覆盖 TypeScript、Go、Python、JavaScript、Rust 的占 12%。

评分器与奖励：

先验证评分器，再谈防奖励投机

核心经验 3：模型从未解出的任务，往往本身就是坏掉的任务——在奖励送到模型之前，先逐个验证评分器。

团队审查那些从未被解出的任务时发现，其中将近一半是「坏了」，并非「难」：题目本身存在缺陷，依赖会误判正确解的脆弱测试，或者埋着「受保护文件」陷阱。另有一些评分器，只要输出格式对得上就给部分分，一碰到真实的智能体输出就崩溃。为堵住这些漏洞，每个新任务进入训练池之前都得通过九道验证关卡（图 4），分别确认任务按题面可解、沙盒封闭且稳定、评分器给出的分数名副其实。

图 4 列出新任务进入训练池前必须通过的九道关卡。蓝色是任务关卡，共 2 道：参考解要能在训练沙盒中、走完全相同的训练流程通过；评分器检查的每项要求都必须在题面中写明。绿色是沙盒关卡，共 3 道：离线运行；每次都能可靠启动、不会卡死；环境中不泄露答案。橙色是评分器关卡，共 4 道：什么都不做或只交样板代码的尝试得 0 分；测试不脆弱，任何正确解都能通过；再畸形的真实输出也能被打分而不会崩溃；相同输出总得相同分数。

奖励怎么给？每次尝试结束打一次分，终局奖励落在[0, 1]区间。完整解出拿1.0；没做完的按通过的验证检查给部分分，软件工程类任务则看修好了几个失败测试。解出的尝试另有一笔长度奖励，上限0.2，按照它比同组最长解答少用多少token来折算。这套塑形把每次解出消耗的token压到原来的0.84倍，评测准确率没掉。

Harness：

为长程尝试而建，训练与评测完全一致

核心经验4：harness属于模型本身——评测用哪一套，训练就得用哪一套。

团队的harness照搬Claude Code的约定：Bash、Read、Write、Edit四个工具，原生工具调用，保留推理历史，外加上下文压缩。关键点在于训练rollout和评测试验跑的是同一套harness，还用自动化单元测试盯着两边在代码和提示词上不走样。RL还没开始，这套harness已经让GLM-5.3-Flash在Terminal-Bench 4.0上比它官方Claude Code的成绩高出4.4个点（表2）。表2对比的是同一个GLM-5.3-Flash：一边用Claude Code（官方排行榜成绩），一边用团队harness，都在Terminal-Bench 4.0上跑，标准时限，按公开价格算单次试验成本和单次解出成本。

长程尝试还得烧得起。上下文占用到窗口85%时触发保留状态的压缩，做法是在对话历史末尾追加分节摘要提示，前缀缓存因此得以保留；命令的标准输出写进文件，只回一段带文件名的截断预览；跑得久的命令丢到后台异步执行，不再超时即杀。几项加起来，单次试验成本降了约三分之一。另外，提示词里要求高效工作流——原地编辑、一次写完、别用sleep轮询——又省下16%。

RL目标：

从陈旧样本中学习而不漂移

核心经验5：陈旧、低精度的样本要校正，不要丢；熵往上走，就当早期预警。

rollout用FP8精度采样，权重最多落后6个版本，和正在训练的BF16策略有细微差别。团队没扔这些陈旧轨迹，而是在训练目标里直接校正。算法核心是GRPO，每个任务12次尝试，每步做一次优化器更新；每次尝试的优势值里既有奖励项也有长度奖励项：

A = (R′ − mean R′) / std R′ + (b − mean b) / 0.5

（均值和标准差都在这同一任务的12次尝试上算）

R′ = 1.5（尝试解出任务时）；否则R′ = 0.5 × R（R即上文[0, 1]内的终局奖励）

当组内至少有2次解出时，b 按 0.2 ×（1 − tokens / 组内解出尝试的最大 token 数）计算；达不到这个条件就取 0。也就是说，只有同一组里确实有解出的样本，才有这一项参与。

截断重要性采样（TIS）的做法是：以 BF16 训练器概率与 FP8 rollout 概率的比值给每个 token 加权，比值被截在 [0.5, 2.0] 区间内，用这个上限约束单个 token 能起的作用。实际训练里，只有 1%–3% 的 token 会碰到截断边界。

分数中心化（SC）则由 rollout 引擎回传每个 token 的 top-32 log 概率，训练器再从每个 token 的策略梯度分数里，扣掉采样器在这些候选上的期望分数。仅靠截断仍会残留朝陈旧 FP8 采样器漂移的倾向，这一步把它消掉，代价是每一步多花 7.6% 的时间。

优势值上还叠了一层成功偏移：R = 1.0 的完全解出按 1.5 计入，没有解出的尝试只按部分分的一半算。最好的「差一点」（R = 0.5）因此只记 0.25，而一次真正的解出记 1.5。部分分能塑造学习，但和真正解出放在一起时不在同一量级。

损失归一化则设了下限。每次尝试的损失按自身 token 数归一化，分母最低取 2,048 个 token。这样一来，那些只剩寥寥几个 token 的退化 rollout 就不会拿到过大的单 token 权重，把梯度带偏。

上面这些校正到位后，训练既不用 KL 惩罚，也不用熵奖励。训练健康时，策略熵从约 0.46 缓慢降到 0.33；一旦熵往上走，就是训练失稳的早期预警信号。

实验：三个基准全面提升，

站上成本—性能前沿

评测在训练时所用的同一套 harness 中进行，FireFlash 的成绩与它的起点 GLM-5.3-Flash 的官方成绩、以及其他模型的公开成绩放在一起比（图 5）。三个基准上它都越过了基座：Terminal-Bench 4.0 高出 10.4 个点，压过 Fable 5 和满尺寸的同门模型 GLM-5.3；DeepSWE v1.1 高出 5.4 个点，超过 Fable 5.1；SWE-Bench Pro Verified 高出 5.1 个点，胜过 Kimi K3 与 GPT-5.6 Sol。

图 5：三个基准上的 Pass@1。橙色为 FireFlash，蓝色为其起点 GLM-5.3-Flash 的官方成绩，其余为各模型的公开成绩。

成本与性能

放到 Terminal-Bench 4.0 上看，FireFlash 处在成本与性能的 Pareto 前沿（图 1）：四十多个模型及推理强度设置中，单次试验花费低于它的只有 4 个，而这 4 个的得分都没超过 35.8%。按 GLM-5.3-Flash 公开价格折算，FireFlash 跑一次试验花 0.72 美元；同一基准上，推理强度拉满的 Fable 5 要 22.02 美元。前沿上的下一个点是 GPT-6.1 Terra，得分 55.6%，成本 1.49 美元。得分比 FireFlash 高的模型，单次试验成本至少翻倍。同门满尺寸的 GLM-5.3 在最高推理强度下每次试验 8.27 美元，得分只有 41.8%。

结语

FireFlash 给出的信号是：经过有针对性的后训练，开源权重模型可以变成能力不俗的领域专用智能体，推理开销只需前沿水平的一小部分。作者提出，把模型、训练环境、harness 和推理系统放在一起联合优化，是除了单纯堆规模之外，做出强而高效智能体的另一条路。FireFlash 只是这条路上的第一步，团队接下来打算把方法从编程、终端任务，推向更复杂、更长程、需要反复执行的工作。

作者介绍

Wenbo Hu 是 UCLA 计算机科学博士生，导师为 Kai-Wei Chang 与 Nanyun Peng 教授。他研究智能体强化学习（Agentic RL），方向涉及大语言模型、多模态与智能体，代表工作包括 Tev、MQT-LLaVA、3DLLM-Mem 等。

其余作者是 Jesse Cai、Po-nien Kung、Yuxuan Lu、Di Wu、Huimin Zeng（按姓氏字母排序），以及 Nanyun Peng、Dakuo Wang、Kai-Wei Chang 教授。