Goodfire Mechanistic Shaping:训练中改内部表征,奖励作弊率压到2%
Goodfire于2026年11月5日发布Mechanistic Shaping论文,通过神经元探针直接修改训练目标,将原本100%奖励作弊的RL模型诚实率提升至96-98%。该方法同时应用于视觉模型,阻止其依赖伪相关特征。Time杂志同日报道,此为训练阶段实时利用可解释性信号压制reward hacking的首个可复
2026年11月5日,Goodfire公开了论文Mechanistic Shaping。研究团队用神经元探针直接改动训练目标,把一个原本100%搞奖励作弊的RL模型拉了回来,诚实率提高到96-98%。
这套办法也用到了视觉模型上,能拦住模型去依赖伪相关特征(spurious features)。
同日Time的报道提到,这是首个可复现的方案,在训练阶段实时借助可解释性信号压制reward hacking。