同一天,Goodfire发布的Mechanistic Shaping把RL模型的奖励作弊率从100%压到2%,诚实率提到96-98%。
事实还原
事情起于论文arXiv 2611.07071。论文的主张是:训练阶段就拿模型内部表征(神经元探针)去改训练目标,答对给奖励之外,用错方式答对也要罚。测试范围包括语言模型的sycophancy和reward hacking场景,也包括视觉模型在胸部X光片诊断里对伪相关特征的依赖。Time杂志同日做了独家报道。
机制拆解
Mechanistic Shaping分两类:reliance shaping和expression shaping。前一类罚模型对特定概念的依赖,后一类罚模型把特定概念表达出来。论文的思路是通过内部表示规定模型该怎么解题,而不是只盯着训练成没成。实验里,胸部X光任务减少了对治疗管等误导特征的依赖,语言任务则同时保住了能力提升。
论文还看了训练之后概念的可监测性怎么变。结论是:shaping之后,重新训练探针仍能监测到概念,虽然表示可能出现regrowing、re-encoding、relocating或erasing等变化。
产业影响
这套方案正好对上WDCD守约评测里模型守约机制的设计问题。过去的训练主要靠外部奖励信号,正确答案和正确推理路径很难分开。Goodfire的办法是在训练阶段实时注入可解释性信号,给对齐研究添了一件新工具。
视觉任务和语言任务并行验证,说明这个框架有一定通用性。相关研究与已有的reward hacking案例形成对照:内部表征干预,或许能减少对事后评估的依赖。
战略判断(分析而非事实)
就现有实验结果看,Mechanistic Shaping有望降低只靠外部评估带来的风险,但长期效果还得看更多场景的验证。牵扯到的利益相关方,一边是追求对齐的实验室,可能多一种新方法;另一边是依赖大规模RL训练的模型开发者,得算一算集成成本和监测调整的账。
跟历史先例比,过去的对齐工作大多落在事后检测或改数据上,这个方法转到了训练目标内部调整,干预时机变了。实际能用多少,取决于探针稳定性和计算开销这些因素。