ChatGPT打分靠写评语太慢，这篇论文想让AI在潜空间里完成判断

用ChatGPT判断两个回答哪个更好的时候，它实际在做什么？它并不会直接甩出一个分数，而是先写一大段评语：这个回答有没有满足要求，那个回答是不是漏了什么，说完了才给结论。这套做法就是生成式奖励建模。

所谓生成式奖励建模，就是让模型靠生成文字评语来判断两个回答的优劣，而不是直接输出一个数字。

麻烦在于，评语往往写得很长。评估标准要是有五六条，AI可能每条都得写上几句，说明符合还是不符合，字写完了才轮到下结论。放到需要反复判断的系统里，这笔开销涨得很快，比如强化学习训练中给模型打分，或者从大量候选回答里做筛选评估，生成评语的时间和算力会迅速累加。

论文盯上的就是这个问题：AI"仔细对照多个标准"的本事能不能留住，思考过程却不必写成完整的句子？

先说论文出现之前的局面有多紧。

那时评估回答质量主要走两条路。一条是让模型看两个回答，直接吐"A更好"或"B更好"，中间过程不写。速度快，质量却不稳，碰上要多标准权衡的复杂场景容易翻车：一个回答事实没错但格式没守，另一个格式漂亮内容却有瑕疵，直接判就常常判错。论文为此专门做了对比，这种叫DirectJudge的方法在RewardBench较难的Chat Hard测试集上，投5票后准确率只有67.43%，从投1票到投5票只涨了0.22个百分点，多次采样几乎没带来增益。

另一条路是让AI像写议论文那样，逐条分析每个评判标准、给出理由，最后综合判断。这就是rubric-based reward modeling，即基于评分细则的奖励建模。Rubric（评分细则）指针对具体任务定下的一组评判标准，像"事实正确性""是否遵守格式要求""语言是否清晰"，合起来就是一份类似老师批改作业的评分表。

这条路准确率确实更高。论文用Qwen3-8B训练的显式SFT判官（Rubric-RM）在同一测试集上投5票能到70.50%，比直接判断高3个百分点。代价是每次判断都要生成几百个token的评语。论文数据显示，Rubric-RM-8B在RewardBench Chat任务上平均每次生成659.60个token，光把这些文字产出来就要耗掉大量时间。

于是研究者卡在两头：想要准确率就得接受慢，想要快就得牺牲准确率。这篇论文要问的是，这个两难能不能被打破。

核心思路：把思考放进潜空间。

灵感来自一个相对年轻的方向，叫连续潜在推理。它的做法是让模型用一串连续的数值向量代替文字token来"思考"，这些向量不对应任何具体单词，却承载着和文字推理相近的信息，能在模型内部传递和处理。

这个思路此前多用于数学题和逻辑推理，效果不错。研究者由此想到：数学推理既然能压进潜空间，评判回答好坏本质上也属于多步推理——先看第一条标准符不符合，再看第二条，最后综合判断——是不是也能这么干？

这里有个关键的设计选择。要是简单粗暴地每隔固定数量的token压成一个潜向量，会怎样？想象整理一盒散落的拼图，时间紧，你决定每凑够8块就随手打成一包，不管这8块是不是来自同一片画面。搬起来是方便了，可下次拼的时候会发现，不少关键边角被硬生生切在两个包裹之间，找一块拼图得同时翻开两个包。这就是固定速率压缩（Fixed-Rate Chunking）的风险：每凑够一定数量的token就打一个包，完全不管它们是否属于同一个语义单元。

论文给了一个真实例子。一句完整评语是"它随机选择词语并把它们组合成一个句子"，固定速率切分会把它切成"它随机选择词语并"和"把它们组合成一个句子"两段，分别塞进两个不同的潜向量。信息没丢，完整的语义却被拆散了，拼回去容易出错。

替代方案是语义分块（Semantic Chunking）。它不按固定长度切文本，而是先照评分细则的结构分配压缩预算，比如每条标准算一个区块；再借助句子、从句、依存关系这些语言学线索，在每个区块内部找更合理的切割点，尽量不把一句话或一个完整论断切成两半。

这有点像搬家打包：不是凑够十件物品就封箱，而是先按房间分配箱子数量，厨房的归厨房，卧室的归卧室，再在每个房间内部尽量把一套碗、一套衣服放在一起，不会让一只筷子单独进另一个箱子。这样到了新家拆箱，想要什么很快能翻到。不这么做的话，箱子数量看着一样，打包速度也差不多，可到了新家翻找的痛苦会直接算进效率里。论文的实验结果正好对上：语义分块在RewardBench2的Precise IF任务上投5票达到43.4%，比固定速率切分的39.5%高出近4个百分点。那文字评语具体怎么压成潜向量？论文设计了一套两阶段流程。

第一阶段是潜在蒸馏。编码器读入评估输入和已经生成的文字评语，在每个切割点处产生一个隐藏状态。这个隐藏状态不会直接塞进序列，而是先经过解码器的词表投影，变成一个覆盖全词表的概率分布；然后只留概率最大的K个词（论文里K取10），重新归一化，再用这组概率对相应词的嵌入向量做加权平均，得到一个"软嵌入"。

软嵌入（Soft Embedding）不挑出某一个具体词对应的向量，改把多个候选词的向量按各自概率权重混到一起，得到一个介于几个词之间的连续向量。这个向量能直接作为模型输入塞进后面的生成过程，让解码器学着用这份压缩表示去预测剩余评语和最终判断。等训练结束，编码器的活儿就完了，它导出的那批稀疏目标会拿去训练第二阶段模型。

第二阶段叫自主潜在评判训练。判官模型在这一步自己学着生成潜在轨迹，不再靠编码器帮忙，从评估输入出发一步步生成潜向量，最后给出偏好判断。训练时还加了个小技巧：往目标分布里注入Gumbel噪声再重新归一化，为的是别让模型死记教师给的确定性目标；推理阶段同样的扰动机制也能让模型每次采样出略有差异的潜在轨迹，从而支持多次投票。

效率到底提升多少？论文的核心数据很直观。

在8B参数规模下，LatentGRM在四个测试域（RewardBench的Chat和Chat Hard，RewardBench2的Precise IF和Focus）上把评估轨迹压缩了8.9到9.2倍；用vLLM这种高效推理框架，总推理时间在投5票的情况下降低6.1到7.0倍。

拿RewardBench Chat这个任务看，显式判官Rubric-RM-8B平均要生成659.60个token的评语，LatentGRM-8B只需74.38个潜在步骤，压缩比8.87倍。落到实际跑分时间上，用普通Transformers/PyTorch框架跑完全部716个样本、投5票，Rubric-RM-8B要8196秒，LatentGRM-8B只花1002秒，提速8.17倍。换成为大模型推理专门优化过的vLLM框架，Rubric-RM-8B要539.70秒，LatentGRM-8B只要87.76秒，提速6.15倍。

| 测试域 | 模型 | 平均生成步数 | 压缩比 | vLLM推理时间(秒) | vLLM加速比 |

|---|---|---|---|---|---|

| RB Chat | Rubric-RM-8B | 659.60 | 1.00× | 539.70 | 1.00× |

| RB Chat | LatentGRM-8B | 74.38 | **8.87×** | 87.76 | **6.15×** |

| RB Chat Hard | Rubric-RM-8B | 582.09 | 1.00× | 589.58 | 1.00× |

| RB Chat Hard | LatentGRM-8B | 64.42 | **9.04×** | 96.44 | **6.11×** |

| RB2 Precise IF | Rubric-RM-8B | 720.89 | 1.00× | 812.93 | 1.00× |

| RB2 Precise IF | LatentGRM-8B | 78.59 | **9.17×** | 126.99 | **6.40×** |

| RB2 Focus | Rubric-RM-8B | 695.49 | 1.00× | 2350.30 | 1.00× |

| RB2 Focus | LatentGRM-8B | 75.37 | **9.23×** | 338.34 | **6.95×** |

有个细节值得单独说。研究者怕人质疑：潜在推理会不会在每一步偷偷塞进更多计算量，表面步数少了，可每步算得更慢，总时间并没省下多少？他们为此专门做了对照实验：强制两种判官都只生成恰好50个位置，结果两者总耗时只差1.017倍，基本可以认为没差别。可见潜在推理省下的时间是真省在步骤数上，不是靠每步偷工减料换来的。

但压缩这么多，准确率会不会掉？这是最容易让人担心的地方。按直觉，评语写得越细，判断该越准，压成几十个潜向量，信息总得损失一些。

论文给出的答案是：整体大致持平，个别任务上甚至还有提升。8B规模、投5票的设置下，LatentGRM在八个基准测试域上的平均分是69.0，显式Rubric-RM是68.1，LatentGRM反而略高0.9分。分任务看，LatentGRM在RewardBench2的Focus任务上领先6.4分（87.5对81.1），在Chat Hard任务上领先2.5分（73.0对70.5），可在原始的RewardBench Chat任务上落后1.9分（89.9对91.8）。

| 模型 | RB Chat | RB Chat Hard | RB2 Precise IF | RB2 Focus | Avg.-8 |

|---|---|---|---|---|---|

| Rubric-RM-8B（投5票）拿下91.8、70.5、45.0、81.1和68.1；LatentGRM-8B（同样投5票）则是89.9、73.0、43.4、87.5和69.0。

这个结果有点意思。压缩带来的信息损失并不均匀，不同任务上有失也有得。按研究者的说法，语义分块恰好保住了指令遵循类任务最要紧的那部分信息——Chat Hard和Focus这类任务更依赖对复杂要求的精确理解；而原始Chat任务相对简单，本身对细节的依赖或许就没那么强。

压缩之后，信息还在不在

只看最终准确率说服力不够。万一模型只是碰巧蒙对了呢？研究者为此设计了一个挺巧妙的实验，专门验证压缩进潜向量的信息里，是否真的还带着评分标准的具体内容。

他们从RewardBench里取出398对问答对，给每一对分别做了三个版本的评分细则：原样不变的原始版、只换说法而意思完全一致的“措辞对照版”，以及真正改掉某条标准含义、让它偏向某个特定回答的“标准干预版”。

**潜在源替换实验**的做法是：先用某一版评分细则生成一段潜在轨迹，再把评估提示语换回原始版本，同时把刚才那段潜在轨迹“嫁接”过去，观察模型最终给出的偏好判断是否仍然受到那个已被替换掉的评分细则的影响。

这有点像心理学实验。你想搞清楚一个人读完一段文字后留下的记忆，究竟来自文字内容本身，还是来自文字呈现的格式。于是悄悄换掉内容、保留原来的记忆片段，看他做决定时到底被最初读到的内容牵着走，还是被当下看到的格式牵着走。换掉评分细则却保留原潜在轨迹，判断结果若依然朝被干预的方向偏，就说明潜在轨迹里确实装着那条被改标准所传递的信息，而不是模型在“揣摩”当下给出的提示语。

实验结果正是如此。用真正改变含义的“标准干预版”生成潜在轨迹，之后即便把评估提示语换回原始版本，模型判断仍朝被干预方向偏移，平均对数几率变化达到2.75；换成只改说法、意思不变的“措辞对照版”生成轨迹，这个偏移几乎为零。潜在轨迹里装的确实是跟评判标准含义相关的具体信息，不是空壳。

潜向量能不能“翻译”回文字

论文还做了另一件有意思的事：专门训练了一个叫潜在轨迹解释器（Latent Trace Interpreter，简称LTI）的模块，职责就是把存下来的潜在轨迹“翻译”成人类看得懂的文字评语。

这个设计的用意很实际。一个判官模型如果只会丢出“A更好”的结论，却完全说不清为什么，放到审核、申诉、调试这类需要可追溯性的流程里就难以取信。LTI要做的，就是让那些被压缩掉的推理过程在需要时能被“解压”出来检查。

解压不在正常判断流程里跑，而是离线进行，不会拖慢在线判断的速度。研究者用了一套相当严格的评测体系来检验解压效果，覆盖607条测试记录，涉及9992条具体评判标准。

结果相当亮眼。衡量每条标准被判定为“符合”“不符合”还是“部分符合”的准确率指标（State Macro-F1），LTI达到98.93%；只给模型看原始问题、不给潜向量的对照组（Prompt-only）只有40.20%；另一个只用模型内部隐藏状态做对照的方案（Replay-hidden）是69.42%。要求一整条记录里所有标准全部判断正确的严格指标（Vector Exact），LTI达到93.98%，两个对照组分别只有18.61%和33.03%。

| 读取方式 | 标准判断准确率(State Macro-F1) | 全部判断正确率(Vector Exact) |

|---|---|---|

| 仅给问题(Prompt-only) | 40.20 | 18.61 |

| 读取隐藏状态(Replay-hidden) | 69.42 | 33.03 |

| 潜在轨迹解释器(LTI) | **98.93** | **93.98** |

差距说明一件事：模型内部的隐藏状态虽然也带着一些信息，但完整程度远不如直接读取保存下来的“软嵌入”概率分布。这也从侧面证明，论文那套压缩表示方式确实比简单粗暴地抓隐藏层激活值更能留住判断依据的细节。

研究者还做了个更贴近实际应用的测试：让一个完全没训练过、也看不到评分细则的“修订模型”，根据来源不同的反馈去修改一个有缺陷的回答，看哪种反馈带来的修订效果最好。结果是LTI解压出的文字反馈效果最佳，能把原本不符合的评判标准修复到80.49%，且几乎不会把原本符合的标准改坏（回退率只有1.86%）。有意思的是，就算不经LTI翻译，直接把那串软嵌入塞给修订模型——这个模型从没见过这种输入格式——修订效果依然好过什么反馈都不给。潜在反馈本身就能被直接利用，哪怕接收端完全没针对它训练过。

写在后面

读这篇论文，我最意外的其实是固定速率切分和语义切分那组对比实验。原以为切分方式只是个很小的工程细节，不会对结果起决定性作用，可论文里那个具体例子——一句完整的话被硬生生从中间切开——让我意识到这种“看不见的损伤”在很多系统里可能一直存在，只是没人做过这么细致的消融实验，大家都没发现。

另一处让我多想了一会儿的，是“直接判断”方法投票五次只提升0.22个百分点的数据。这暴露出一个容易被忽略的问题：多次采样投票这个技巧，本身建立在“每次采样都有一定独立性和多样性”的假设上。模型的判断过程若压缩得太狠，连一点推理轨迹都不留，多次投票可能根本榨不出额外信息，因为每次答案背后压根没有“不同的思考路径”可言。LatentGRM保留了一条可被扰动、能产生多样性的潜在轨迹，投票这个老办法才重新有了用武之地。

论文没有回避尚未解决的问题。按现在的做法，语义分块仍依赖人工设计的启发式规则，靠句子边界、依存关系这类语言学线索判断切分位置；至于能否用学习的方式自动找到最优切割点，论文并未作答。附录里还记录了一次解压失败的案例：LTI翻译出的文字中，有一条标准被错标为“符合”，但紧随其后的后续分析与最终结论都正确认定该标准实际未被满足。局部出现这种自相矛盾，说明压缩与解压尚未做到完全忠实，软概率分布所携带的信息终究是有损的。

设想某天AI向你解释一件事，它说出口的那些话，不过是脖子以下早已做完决定之后顺手编出的说明文字——这时你或许会重新琢磨，“解释”二字到底指的是什么？

Q&A

Q1：LatentGRM是什么？

A：这是一种判断两个回答孰优孰劣的新方法。它不再写冗长的文字评语，改用压缩后的连续数值向量完成多标准评估，推理时间因此大幅下降，判断准确率则保持住了。

Q2：LatentGRM能把推理速度提升多少？

A：在8B参数规模、投5票的设置下，四个基准测试域上的评估轨迹长度被压缩了8.9到9.2倍；在vLLM框架下，总推理时间降低了6.1到7.0倍。

Q3：潜向量压缩会不会丢失重要的判断依据？

A：为验证这一点，论文专门设计了��释器模块。把保存的潜在轨迹翻译回文字后，标准判断准确率达到98.93%，说明压缩过程中关键的评判依据基本保留了下来。