大模型RL训练:奖惩该记在哪个token头上?

资讯 网易科技 作者:网易 全文 7210 字 · 约 19 分钟读完 配图 1 张

每个奖励管好自己的那几个词:多奖励强化学习的token级信用分配

大模型RL训练:奖惩该记在哪个token头上?(配图 1)

有没有设想过这样一种情形:

一条 SQL 查询语法没问题、格式也挑不出毛病,偏偏把 `>= 30` 写成了 `> 30`。三个评委分别打分:格式通过,能执行,结果错了。那么问题就来了——“结果错了”这笔惩罚该记在谁头上?

难道要让查询里的每个字都挨一遍?连那些毫无问题的 `SELECT`、`FROM`、`WHERE`也不放过?

听着离谱,可这正是当下大语言模型强化学习训练里真实发生的事。

**奖励给对了,落点却错了**

眼下训练大语言模型,流行用强化学习搭配“可验证奖励”,判断回答对错交给程序而不是人。这条技术路线叫 RLVR

> RLVR*:Reinforcement Learning with Verifiable Rewards,用可自动验证的程序(而不是人工打分)来给语言模型的输出计算奖励信号,是目前大模型后训练的主流方法之一。

RLVR 当中名气最大的算法之一就是 GRPO

> GRPO*:Group Relative Policy Optimization,一种强化学习算法,让模型针对同一个问题生成一组回答,再根据这组回答里谁好谁差来计算每个回答该获得多少“优势值”,从而决定训练时该往哪个方向调整模型参数。

GRPO 起初只面向单一奖励来设计,比如数学题答没答对、代码跑不跑得通。可现实任务往往同时挂着好几把尺子。

拿工具调用智能体来说,调用格式得写对,函数和参数也得选准。文本转 SQL 的模型,查询要能跑起来,结果还得和期望对得上。指令遵循模型更典型,提示词里可能一口气列了十几条要求,条条都得满足。这类任务被称作多奖励强化学习,每个评判标准身后都站着一个独立的“验证器”,各打各的分。

要是直接把这些奖励加总了喂给 GRPO,麻烦就来了:不同的奖励组合,加起来可能得到同一个数,模型根本分辨不出来。举个例子,一个回答格式对、能执行、结果错,另一个格式错、能执行、结果对,万一总分恰好一样,在 GRPO 看来这两个回答就没差别了,可它们分明是两码事。

为了收拾这个“奖励塌缩”,有研究者拿出了 GDPO

> GDPO*:Group reward-Decoupled normalization Policy Optimization,先把每个奖励单独在同一组回答里做标准化,再加权求和,这样不同的奖励组合就不会被混淆成同一个数值。

“谁是谁分不清”的问题,GDPO 确实解决了。但它还留下一个更隐蔽的毛病:每个奖励算出的“优势值”,依然被原封不动地平摊到整条回答的每个 token 上

> token*:语言模型处理文本时的最小单位,可以粗略理解为一个字、一个词或者一个标点符号。

换句话说,哪怕执行出错只是选错了一个列名,这笔负分照样会落到 `` 标签上、落到 `SELECT` 上、落到每一个无辜的字符上。文章开头那个荒诞场景,真实版本就是这样。

这里面藏着一个假设:每个 token 对每项奖励担着同样的责任。现实完全不是这么回事。验证器通常只盯住回答里的一小块。格式验证器只管标签对不对,执行验证器可能只在意某个选错的列名。把整体奖励摊匀到每个字,等于一个人犯错、所有员工一起扣钱,既不公平,也教不会模型错在哪。

**凭什么定位到“哪几个词”**

难题摆在眼前:验证器究竟盯着哪些词,我们无从知晓;专门训一个额外模型去标注,或者额外生成数据来标出哪个 token 对应哪项奖励,又都不在考虑之内。那还能怎么办?

研究者从近期一类工作里找到了灵感,它叫在线自蒸馏

所谓自蒸馏,就是先给同一个模型喂一些额外的“特权信息”,比如参考答案、环境反馈,让它据此给出一个更准的预测分布;随后再让模型自己去逼近这个分布,而不是走传统的奖励最大化路子来学。

这里的门道在于:给模型多塞一点“内部消息”,它预测下一个词的结果就会变。哪个位置变得越厉害,就越说明这个位置和这条内部消息关系紧密。

论文作者顺着这个思路,提出了 MRTPO

论文作者顺着这个思路提出了 MRTPO,全称 Multi-Reward-to-Token Policy Optimization。这是一种在多奖励强化学习场景里,让每个奖励把自己的优势值精确分配到真正相关的 token 上的办法,既不用加额外模型,也不用人工标注。

它的做法一句话就能说明白:针对每一个奖励,让模型分别在“能看到验证信息”和“看不到验证信息”两种条件下,把已经生成的那条回答重新回放一遍,再对比两次预测的差别。差别大的位置,就是这个奖励真正在意的地方。

自我回放:让模型自己告诉你哪里重要。具体怎么操作?

每个奖励都对应一段验证信息,论文里写作 Zk。这段信息可能是一段用文字描述的格式要求,也可能是数据库返回的 SQL 报错,还可能是一条参考答案。

对每个奖励,研究者构造两个几乎一模一样的上下文。一个叫 Pall,把所有奖励的验证信息都塞进提示词;另一个叫 P\k,和它完全相同,只把这一个奖励的验证信息单独拿掉。

然后拿训练时采样这条回答所用的旧模型参数,把已经生成好的回答分别送进这两个上下文跑一遍前向传播,得到每个位置上下一个词的概率分布。

这一步不重新生成任何新内容,只是让模型“回看”自己已经写出来的东西,看看在两种知情程度不同的情况下,它对每个位置的判断有什么差别。

两次预测之间的差异,用 Jensen-Shannon 距离来衡量。

> Jensen-Shannon 距离*:用来量化两个概率分布之间差异程度的指标,取值范围从 0 到 1,取 0 时两个分布一模一样,取 1 时差别最大。

某个位置如果在去掉某段验证信息之后预测几乎没变,说明它跟这个奖励关系不大,距离接近 0。反过来,去掉之后预测剧烈变化,就说明模型在这个位置上的判断严重依赖那段信息,距离大,这个位置也就该为这个奖励负更多责任。

论文里有个很直观的例子。一条文本转 SQL 的回答用了一张不存在的表 `telefone`,而正确答案里用的是 `phone`。研究者把“数据库报错信息”从上下文里抽走再回放一次,预测变化最大的地方正好就是 `telefone` 这个词本身;把参考查询抽走再回放一次,变化最大的地方落在被选错的列名和错误的连接条件上。该怪谁,模型自己指出来了,不用人去标。

这跟医院里的会诊是一个道理。一个病人身上同时有三种毛病,心脏科、肠胃科、神经科的大夫各开各的方子。账单要是只把三张药费单合在一起打在一张纸上,病人就搞不清哪笔钱对应哪个科室。反过来,每张处方单上都注明科室和针对的症状,病人对每一分钱花在哪儿就心里有数,也能看出哪个科室的治疗更划算。少了这层区分,病人下回再生病,还是不知道该挂哪个科。模型也是这个理:惩罚没有精准落到具体位置,它就弄不明白究竟哪里该改,只能笼统地变得更“谨慎”或者“更啰嗦”,真正的问题抓不住。

把优势值重新分配给该负责的 token。有了每个位置对每个奖励的“相关度分数”之后,下一步就是按这个分数重新分配奖励的优势值。

论文给出的公式思路是:先算出整条回答里这个奖励相关度分数的平均值。某个位置的相关度如果正好等于平均值,权重就是 1,和原来 GDPO 平摊的做法一致。相关度高于平均值,权重往上调;低于平均值,权重往下调,但不会低于一个下限,保证每个位置至少还能保留一部分优势值。

式中有一个参数 β,用来调节“按相关度分配”占多大比例。β 等于 0 时,就彻底退回 GDPO 那种平摊的做法;β 越大,优势值就越集中地压到真正相关的那几个 token 上。论文的实验结果显示,β 取 0.5 是个比较稳的折中,在各任务上的表现都不错。

所有权重的平均值仍然是 1,也就是说整条回答拿到的总奖励没变,变的只是分配方式。好比一个团队完成项目拿到奖金,总奖金数额不变,但不再人人平分,而是按贡献度分发:贡献大的拿得多,贡献小的拿得少,不过每个人至少有个保底。

论文另外加了一套防“失控”的设计:多个奖励同时集中作用在同一批 token 上时,被重新分配出去的那部分优势值,不会超过原本平摊优势值的规模,免得个别 token 权重被抬得过高,把训练搞得不稳定。

三个战场的实测结果。说了这么多设计思路,实际效果到底怎么样?论文在三个任务上做了验证:文本转 SQL、多约束指令遵循、工具调用。

文本转 SQL 任务用的是 Spider 训练集,配三个二元奖励:格式正确与否、能否执行、结果跟参考答案是否一致。测试覆盖 Spider 的开发集和测试集,外加几个变体版本以及 BIRD 数据集。两个不同规模的模型,30 亿参数和 70 亿参数,MRTPO 的平均准确率都排第一,分别为 68.60% 和 73.15%,比 GDPO 高出 1.3 到 1.6 个百分点。还有一点更值得看:MRTPO 与另一种叫 SAW 的加权方法搭配后,平均分还能再涨一些,分别到 68.96% 和 73.41%。可见 MRTPO 这种“定哪些 token 拿奖励”的思路,跟“定每个奖励给多少权重”的思路是彼此独立的两件事,能叠着用,并不打架。

多约束指令遵循任务里,每条提示词塞了五到十三条不同的约束,每条约束就是一个独立奖励。这个场景下 MRTPO 的优势最明显:在 IFBench 这个约束类型没在训练里出现过的测试集上,涨幅达到 2.4 到 3.2 个百分点,是三个任务里涨幅最大的。背后的逻辑也合理,约束越多,平摊的坏处就越明显,一个 token 如果要背负十几个毫不相干的约束的平均责任,噪音自然就越大。

工具调用任务上只有两个奖励,格式对不对、参数对不对。MRTPO 和 GDPO 的最终准确率差不多,但训练速度拉开了明显差距。论文统计了模型把格式学对要花多少步:MRTPO 是 13 步,GDPO 是 19 步,原始 GRPO 是 34 步。训练到第 10 步,MRTPO 已让 97% 的测试样本格式正确,GDPO 只有 2%,GRPO 只有 4%。

道理其实不复杂。格式这一项奖励,验证器只核对开头和结尾那几个标签写得对不对,中间写了什么它基本不看。要是把格式奖励的分数平摊到整条回答的每个词上,模型就得在一堆噪音里反复琢磨,折腾很久才明白“问题出在标签上”。MRTPO 换了思路:把格式奖励的分数直接集中到标签上,模型几步就能抓住要害。打个比方,考卷发下来老师只说“扣了 20 分”,你得自己猜错在哪道题;老师要是在错题上画个圈,你改起来就快多了。没有这一步,模型只能靠大量试错去倒推问题所在,而这段摸索正是训练慢的根源。

论文为此专门设了对照实验,看效果是不是真来自“分配位置对了”。研究者把每条回答里各个 token 的权重随机打乱,权重数值的分布不变,只是不再对应原来的位置,结果 MRTPO 相对 GDPO 的提升一下子没了,几乎退回到 GDPO 的水平。另一个实验把所有奖励先合成一个总的相关度分数再统一分配,不让每个奖励各算各的,成绩比 GDPO 略好,可明显比不上每个奖励单独分配的做法。两组对照说明,提升确实来自“知道哪个 token 该为哪个奖励负责”这件事,跟统计上的巧合无关。

再来看一个“更奢侈”的对手。

论文里还提到一个值得深挖的对比对象,叫 OPSD。

OPSD*:On-Policy Self-Distillation,思路是让模型参考完整的参考解答(包括推理过程和最终答案),生成一个更准的“教师”预测分布,再让模型自己去拟合这个教师分布。

OPSD 喂给模型的信息比 MRTPO 更“奢侈”,给的是完整的参考解题过程,包括推理步骤和最终查询语句。按理说信息量越大效果应该越好,但实验结果是,OPSD 在文本转 SQL 的每一个测试基准上,表现都不如 MRTPO。

这个结果很有意思,它说明模型需要的不是一份完整的标准答案抄一遍,而是知道“每个评判标准到底在盯着哪里”。给出完整参考答案确实能让模型知道正确结果什么样,但没告诉模型“你这次错在哪一个具体位置”。MRTPO 用的信息量更少,只是验证器本身依赖的那点信息,可它把这点信息用在了精确定位上,反而更有效。

这让人想起学做菜。照着一份完整菜谱从头到尾抄一遍动作,你学到的是“这道菜该是什么样子”,但下次自己做错了,你未必知道到底是火候的问题还是调料的问题。如果有人只告诉你“你这盘菜咸了”,反馈信息量看着更少,却能精确指向问题所在,让你立刻知道下次该少放盐。信息多少不等于反馈的有效性,反馈能不能精确定位问题才是关键。

哪些词真正被“砸中”了?

论文还做了一个很细致的分析,看看真实训练过程中,每个奖励的注意力究竟落在回答的什么位置。

文本转 SQL 任务中,统计显示某个奖励的大部分“相关度距离”落在整条回答 26% 到 29% 的 token 上,占到了 80%。执行奖励盯住的是被选中的列名,这部分 token 拿到的注意力是占比的两倍;格式奖励同样以两倍的注意力集中在 `` 标签上。

工具调用任务里,80% 的相关度距离集中在 13% 到 15% 的 token 上。格式奖励给 `` 标签的权重达到平均水平的三倍;正确性奖励主要落在推理文字中决定调用哪个函数的那一段。函数名、JSON 语法这些正确和错误调用都共有的部分,拿到的权重反而不到平均值的五分之一。

指令遵循任务中,研究者挑了一类“结尾短语”约束来分析,这类约束要求回答以指定句子收尾。统计下来,这条约束把 40% 的相关度距离集中到只占整条回答 4% 的 token 上,也就是结尾那句话。约束一旦被违反,相关度距离就转移到“本该出现却没出现”的位置——比如要求整段回答用引号包裹而模型没加,相关度就集中在回答开头本该是引号的那个地方。

这些数据说明了一件事:验证器真正在意的信息,常常只藏在回答中很小的一块区域,而 MRTPO 的自我回放机制不用任何人工标注,就能相当准确地把它找出来。

成本:多出来的那点计算。

天下没有免费的午餐,MRTPO 要额外做前向传播来完成这个“回放”动作,肯定得花更多计算资源。

论文给出了一个相对乐观的数字:一个奖励只有在它的得分于同一组回答里出现差异时才需要被回放,如果一组回答里所有人在这个奖励上得分完全一样,那这个奖励的优势值本来就是零,根本不用费力气去回放。这种“有差异”的情况在训练早期比较常见,但很快就会变少。比如工具调用任务里,正确性奖励出现差异的比例从训练前十步的 61% 降到后期的大约 10%。

总体算下来,真正需要触发回放的回答与奖励组合只占 12% 到 21% 左右,单步训练耗时比 GDPO 多 10% 到 20%,负担算不上特别重。

写在后面。

读完这篇论文,方法本身有多巧妙倒还在其次,最让人记住的是 OPSD 对照实验得出的反直觉结论:给模型更多信息(完整参考答案),效果反而不如给更少但更精准的信息(只告诉验证器它在看哪里)。这也在提醒一件更普遍的事——很多需要“学习”的场景里,信息定位得准不准,比信息总量多少更重要。语言模型训练如此,人的学习和反馈机制也一样。

还有一处细节值得记下来:在指令遵循任务中,那组围绕“结尾短语”的统计给出了这样的结果——仅占 4% 篇幅的结尾句,却吸走了 40% 的注意力。一个看着不起眼的格式要求,背后扛的责任其实相当集中。平摊的做法会把这份集中责任冲淡,最后只剩几乎听不见的噪音。多奖励任务里约束一多,平摊方式暴露的问题就更严重,根子也在这里。

论文对自身局限的交代也很坦率。这套方法有个前提:每个奖励的验证信息都得能写成一段文字,而且把这段文字加进去或拿掉,模型的预测确实要跟着变。碰上跟具体文字内容无关的奖励,比如只按回答长度打分,这个方法就使不上劲,只能退回老办法做平摊。至于用 LLM 当裁判打分的那类奖励,像复杂的评分标准项,论文也还没验证过效果。

那要是一个奖励既没有能落成文字的验证信息,也不靠简单规则判断,而是由黑箱模型吐出一个模糊分数呢?它真正“管辖”的那几个词该怎么找?这大概会是研究者接下来要碰上的问题。

Q&A

Q1:MRTPO是什么?

A:MRTPO面向多奖励强化学习,做的是 token 级信用分配。它让模型在带验证信息和不带验证信息两种情形下,各自回放已经生成的回答,再比较预测分布的差异,据此锁定每个奖励真正相关的 token,把优势值精确分给这些 token。整个过程既不需要额外模型,也不需要人工标注。

Q2:MRTPO和GDPO有什么区别?

A:GDPO管的是每个奖励给整条回答贡献多少权重,可这个权重会被均分到回答里的每一个 token 上。MRTPO 则在 GDPO 之上再往前一步,决定每个奖励的优势值具体该落到哪些 token。两者能叠着用,并不冲突。

Q3:MRTPO比给完整参考答案的OPSD方法效果还好吗?

A:确实如此。论文实验里,OPSD 交给模型完整的参考解题过程,信息量比 MRTPO 更大,可在文本转 SQL 的每一个测试基准上,它的表现都落在 MRTPO 后面。这说明把问题定位准,比直接给全套答案更管用。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Snowflake Business Ontology:AI 时代如何统一业务口径?

    11 月 3 日,Snowflake 宣布推出 Business Ontology ,即将开启公开预览。它提供了一种受治理的方式,支持团队定义、归属、审批共用业务术语、实体、关联关系与指标,并将其映射至承载这些定义的数据和模型。

    来源 InfoQ
  2. 马斯克预测:2031年AI智慧或超全人类总和?

    在接受《经济学人》采访时,全球首富埃隆 · 马斯克(Elon Musk)大胆预测,称未来约 5 年内,即约 2031 年,人工智能(AI)超过全人类智慧的总和。到那时,除“作为人类”之外,几乎没有什么是 AI 不能比人类做得更好的。

    来源 IT之家
  3. 马斯克:AI 约 2031 年或超全人类智慧总和,2036 年金钱重要性或下降

    IT之家 11 月 19 日消息,在接受《经济学人》采访时,全球首富埃隆 · 马斯克(Elon Musk)大胆预测,称未来约 5 年内,即约 2031 年,人工智能(AI)超过全人类智慧的总和。到那时,除“作为人类”之外,几乎没有什么是 AI 不能比人类做得更好的。 IT之家附上相关视频如下: 马斯克同时描绘了一个乐观

    来源 AI 行业观察
  4. 始终将水瓶、文件夹误认为枪支,美国一高中停用 AI 武器探测系统

    IT之家 11 月 18 日消息,据外媒 TechSpot 今天(18 日)晚间报道,因屡次将普通物品误判为潜在威胁,美国宾夕法尼亚州亨普菲尔德地区高中最终决定停用 AI 武器探测系统。 该校高中是当地参与 Wi-AI 系统训练的多所学校之一。该系统由卡内基梅隆大学衍生企业 CurvePoint 开发,通过分析 Wi-

    来源 AI 行业观察
  5. 超三分之一Z世代靠AI交朋友,孤独感反而更重?

    盖洛普最新报告显示,超过三分之一的Z世代将AI作为社交伴侣,拥有纯线上朋友或依赖AI陪伴的年轻人,孤独感显著高于其他群体。技术看似填补了社交空缺,却可能加剧人际疏离。本文编译自WIRED,解析这一矛盾现象背后的数据与隐忧。

    来源 AI 科技快讯
  6. DeepSeek调整API计费:搜索与网页抓取不再单收费,只按Token算

    11月18日12:00起,DeepSeek正式实施全新API计费规则,开发者在调用大模型过程中触发的服务端搜索与网页抓取功能不再单独收费,全面转为仅按模型Token用量计费。这一调整进一步简化了大模型的商业化计费链路,直接降低了开发者构建联网AI应用的综合成本。 根据DeepSeek官方披露的规则,

    来源 AI 开发者社区
  7. Superhuman把Go助手推向全线产品

    Superhuman正在把旗下AI助手Go从单一功能升级为贯穿产品的核心代理,并让它在Docs与Mail中同时可用。这标志着邮件与文档类工具正从“点按钮调用AI”走向“常驻式智能代理”,也意味着生产力软件的竞争焦点,正从功能数量转向上下文与工作流的整合能力。

    来源 AI 行业观察
向下滚动自动加载更多