Qwen2.5和Qwen3实测:SFT数据对齐后泛化能反超RL吗?
监督微调(SFT)只会“死记硬背”,强化学习(RL)才能学会泛化? 这一判断在大模型推理研究中颇具影响力。然而,如果 SFT 接触的训练数据与 RL 并不相当,那么,两者之间的差距,究竟有多少来自训练方式,又有多少来自数据? 来自新加坡国立大学(NUS)、耶鲁大学等的研究团队,在 Qwen2.5 和 Qwen3 系列模
监督微调(SFT)真就只会“死记硬背”,非得靠强化学习(RL)才能学会泛化?
这个说法在大模型推理圈子里流传甚广。可问题在于,要是 SFT 碰到的训练数据和 RL 根本不在一个量级上,那两者之间的落差,到底该算在训练方式头上,还是该算在数据头上?
新加坡国立大学(NUS)、耶鲁大学等机构的研究者,拿 Qwen2.5 和 Qwen3 系列模型把这件事重新查了一遍。结论是:只要训练数据混合得当,生成轨迹的总预算又和 RL 对得上,SFT 的泛化表现完全能压过 RL。

论文链接:https://arxiv.org/abs/2611.14912
他们盯的是两件事:数据从哪儿来,模型实际又吃进了多少数据。
RL 和 SFT 都能把大模型的推理能力往上抬。早先的对比工作发现,一旦跑出训练领域,SFT 的推理表现往往追不上 RL。研究者想弄清楚的是,这些对比有没有把 SFT 的潜力用足,尤其是在数据资源上有没有给到对等的条件。
第一步要查的是生成训练答案的那个模型。他们挑了两类数据来源:一类出自能力更强的
Qwen3-14B,另一类出自经过 RL 微调的基座模型。两个数据集都给每道问题 prompt 配一条正确的生成轨迹,也就是模型完整生成的一次解答。拿这些数据分别做 SFT 之后,再用通用推理任务测泛化。结果说明,模型更强,产出的数据未必更好。
两组 SFT 模型的泛化都输给了 RL 模型,但用 RL 微调模型产出的数据,效果比 Qwen3-14B 的数据要好。再把两种来源按不同比例掺着用,适当多放一些多样化的数据进去,通用推理表现还能接着涨。

可光调来源,SFT 和 RL 之间的差距还是没抹平。紧接着又冒出一个问题:两者就算拿到同样的问题,接触到的解答数量真的一样多吗?
问题的条数和生成轨迹的条数,压根是两把尺子。同一道题,模型可以写出好几条解答。只把问题 prompt 对齐,并不能保证两种训练方式实际用掉的轨迹数量相同。
于是他们按三套标准去调 SFT 的数据规模:分别对齐可解问题的数量、正确生成轨迹的数量,以及生成轨迹的总量。
标准一换,SFT 的泛化表现也跟着变。把正确生成轨迹的数量跟 RL 对齐之后,SFT 的泛化能力明显好转。再把生成轨迹总数也对齐,SFT 的泛化水平就跟 RL 持平了。

图|不同训练因素与 RL 对齐时,SFT 模型在数学及更广泛推理基准上的性能比较
等数据规模的调整和数据来源的调整叠到一起,用两种来源的混合数据、再把生成轨迹总数对齐,SFT 的泛化表现就反超了 RL。

图|使用扩大规模、混合比例不同的训练数据集进行 SFT 后的模型性能比较
数据规模凭什么会影响到训练领域之外的推理表现?他们把分析一路推到了解题方法本身。
研究者借助大语言模型(LLM)给训练轨迹里的解题方法打标注,发现这些方法呈长尾分布。数据集一扩大,训练数据就能覆盖到更多落在分布尾部的方法。

这些新覆盖到的方法,在后头的通用推理任务里也露了面。他们继续标注评估阶段的生成轨迹,发现训练数据规模越大,模型调用长尾方法的频率越高,靠这些方法解出来的题也越多。

据此他们判断,扩大数据集能提升对长尾推理模式的覆盖,而这些方法提供的推理信号是可以迁移到其他任务上的。
他们还用浅层 transformer 的训练动态分析给这套解释补了理论支撑。在所分析的长尾数据设置下,SFT 和 RL 在分布内问题上都能拿到较高准确率。可一旦解题方法覆盖不够,SFT 在分布外问题上的泛化就不如 RL。方法覆盖得越多,SFT 越能追上 RL 的泛化水平。
所以他们指出,数据来源和数据规模都会左右 SFT 的泛化能力;数据集经过精心混合、生成轨迹预算又跟 RL 对齐时,SFT 的泛化甚至能比 RL 更强。
这项研究有个局限:只看了 LLM。把分析推广到扩散模型等其他生成模型,是往后要做的活。