Qwen2.5和Qwen3实测:SFT数据对齐后泛化能反超RL吗?

资讯 AI 行业观察 作者:学术头条 全文 1774 字 · 约 5 分钟读完 配图 7 张 分类Qwen3学术研究大模型

监督微调(SFT)只会“死记硬背”,强化学习(RL)才能学会泛化? 这一判断在大模型推理研究中颇具影响力。然而,如果 SFT 接触的训练数据与 RL 并不相当,那么,两者之间的差距,究竟有多少来自训练方式,又有多少来自数据? 来自新加坡国立大学(NUS)、耶鲁大学等的研究团队,在 Qwen2.5 和 Qwen3 系列模

所属频道 模型发布前沿研究

监督微调(SFT)真就只会“死记硬背”,非得靠强化学习(RL)才能学会泛化?

这个说法在大模型推理圈子里流传甚广。可问题在于,要是 SFT 碰到的训练数据和 RL 根本不在一个量级上,那两者之间的落差,到底该算在训练方式头上,还是该算在数据头上?

新加坡国立大学(NUS)、耶鲁大学等机构的研究者,拿 Qwen2.5 和 Qwen3 系列模型把这件事重新查了一遍。结论是:只要训练数据混合得当,生成轨迹的总预算又和 RL 对得上,SFT 的泛化表现完全能压过 RL。

Qwen2.5和Qwen3实测:SFT数据对齐后泛化能反超RL吗?(配图 1)

论文链接:https://arxiv.org/abs/2611.14912

他们盯的是两件事:数据从哪儿来,模型实际又吃进了多少数据。

RL 和 SFT 都能把大模型的推理能力往上抬。早先的对比工作发现,一旦跑出训练领域,SFT 的推理表现往往追不上 RL。研究者想弄清楚的是,这些对比有没有把 SFT 的潜力用足,尤其是在数据资源上有没有给到对等的条件。

第一步要查的是生成训练答案的那个模型。他们挑了两类数据来源:一类出自能力更强的 Qwen3-14B,另一类出自经过 RL 微调的基座模型。两个数据集都给每道问题 prompt 配一条正确的生成轨迹,也就是模型完整生成的一次解答。拿这些数据分别做 SFT 之后,再用通用推理任务测泛化。结果说明,模型更强,产出的数据未必更好。

两组 SFT 模型的泛化都输给了 RL 模型,但用 RL 微调模型产出的数据,效果比 Qwen3-14B 的数据要好。再把两种来源按不同比例掺着用,适当多放一些多样化的数据进去,通用推理表现还能接着涨。

Qwen2.5和Qwen3实测:SFT数据对齐后泛化能反超RL吗?(配图 2)

可光调来源,SFT 和 RL 之间的差距还是没抹平。紧接着又冒出一个问题:两者就算拿到同样的问题,接触到的解答数量真的一样多吗?

问题的条数和生成轨迹的条数,压根是两把尺子。同一道题,模型可以写出好几条解答。只把问题 prompt 对齐,并不能保证两种训练方式实际用掉的轨迹数量相同。

于是他们按三套标准去调 SFT 的数据规模:分别对齐可解问题的数量、正确生成轨迹的数量,以及生成轨迹的总量。

标准一换,SFT 的泛化表现也跟着变。把正确生成轨迹的数量跟 RL 对齐之后,SFT 的泛化能力明显好转。再把生成轨迹总数也对齐,SFT 的泛化水平就跟 RL 持平了。

Qwen2.5和Qwen3实测:SFT数据对齐后泛化能反超RL吗?(配图 3)

图|不同训练因素与 RL 对齐时,SFT 模型在数学及更广泛推理基准上的性能比较

等数据规模的调整和数据来源的调整叠到一起,用两种来源的混合数据、再把生成轨迹总数对齐,SFT 的泛化表现就反超了 RL。

Qwen2.5和Qwen3实测:SFT数据对齐后泛化能反超RL吗?(配图 4)

图|使用扩大规模、混合比例不同的训练数据集进行 SFT 后的模型性能比较

数据规模凭什么会影响到训练领域之外的推理表现?他们把分析一路推到了解题方法本身。

研究者借助大语言模型(LLM)给训练轨迹里的解题方法打标注,发现这些方法呈长尾分布。数据集一扩大,训练数据就能覆盖到更多落在分布尾部的方法。

Qwen2.5和Qwen3实测:SFT数据对齐后泛化能反超RL吗?(配图 5)

这些新覆盖到的方法,在后头的通用推理任务里也露了面。他们继续标注评估阶段的生成轨迹,发现训练数据规模越大,模型调用长尾方法的频率越高,靠这些方法解出来的题也越多。

Qwen2.5和Qwen3实测:SFT数据对齐后泛化能反超RL吗?(配图 6)

据此他们判断,扩大数据集能提升对长尾推理模式的覆盖,而这些方法提供的推理信号是可以迁移到其他任务上的。

他们还用浅层 transformer 的训练动态分析给这套解释补了理论支撑。在所分析的长尾数据设置下,SFT 和 RL 在分布内问题上都能拿到较高准确率。可一旦解题方法覆盖不够,SFT 在分布外问题上的泛化就不如 RL。方法覆盖得越多,SFT 越能追上 RL 的泛化水平。

所以他们指出,数据来源和数据规模都会左右 SFT 的泛化能力;数据集经过精心混合、生成轨迹预算又跟 RL 对齐时,SFT 的泛化甚至能比 RL 更强。

这项研究有个局限:只看了 LLM。把分析推广到扩散模型等其他生成模型,是往后要做的活。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 小米雷军:AI 是一个全新的时代,一定会带来非常多的商业机会

    IT之家 11 月 17 日消息,2026 年 APEC 工商领导人峰会 11 月 17 日至 18 日在深圳举办,主题为“共促繁荣,共赢未来”。据新浪科技报道,小米集团创始人、董事长兼首席执行官雷军表示,过去四年,AI 大模型技术突飞猛进,给我们的生活和工作带来了巨大的变化。但 AI 能够落地的场景非常有限,能够真正

    来源 腾讯网
  2. Osmo训练气味基础模型:30名闻香师为AI补上嗅觉

    在新泽西州纽瓦克机场附近的一间实验室里,约30名经验丰富的人类嗅辨员正逐一品鉴地球上的各种气味。他们记录的“坚果味”“桃子味”“海洋味”等笔记,会与化学分析结果交叉比对,为AI初创公司Osmo打造其号称全球首个“气味基础模型”提供训练数据。这家公司希望让机器学会“闻”,把嗅觉这一最难数字化的感官真正带入AI时

    来源 AI 科技快讯
  3. 腾讯WorkBuddy日活破千万:日均Token超100万亿,500强渗透一半

    腾讯今日发布 2026 年第三季度财报,其中披露了 WorkBuddy 的最新数据:截至 11 月初,这款 AI 助手日活跃用户数已突破 1000 万,日均 Token 调用量超过 100 万亿,一举成为中国大语言模型日均 Token 用量最高的 AI 产品。自今年 3 月发布以来,它已完成 100

    来源 AI 开发者社区
  4. 纳格尔获2026伯格鲁恩哲学奖:AI意识论“荒谬可笑”

    著名哲学家托马斯·纳格尔因在非人类意识领域的里程碑研究,荣获2026年伯格鲁恩哲学奖(奖金100万美元)。他在接受WIRED采访时,对当前AI意识热论泼冷水,直言将大语言模型视为有意识存在“简直荒谬”。本文梳理纳格尔的意识哲学观点,分析AI意识争论的背景与误区。

    来源 AI 科技快讯
  5. 总参数 224B、支持 100 万超长上下文!腾讯混元重磅开源 Hy4 flash 家族,多端生态全面上线

    人工智能开源生态再度迎来重磅更新。腾讯混元于2026年11月18日正式宣布开源 Hy4flash 模型,为开发者和广大用户带来了一款主打极致性价比的全新大模型选择。 家族矩阵全线亮相,多渠道支持便捷部署 此次腾讯混元推出的开源版本覆盖了多个不同规格,具体包含 Hy4flash、Hy4flash-FP

    来源 AI 开发者社区
  6. 腾讯WorkBuddy日活破1000万:日均Token超100万亿,企业500强渗透过半

    腾讯2026年第三季度财报披露,AI助手WorkBuddy截至11月初日活突破1000万,日均Token调用量超100万亿,成为中国大语言模型日均Token用量最高的AI产品。自今年3月发布以来,它已完成100多个大版本更新,迭代迅速;C端火热同时,B端也在拓展,开放平台上线仅两个月,Buddy应用已取得进展。

    来源 AI 产业速递
  7. Model ML融资2.5亿美元:AI代理替投行分析师改模型、做PPT

    据TechCrunch报道,AI创业公司Model ML完成2.5亿美元融资,主打为投行与咨询顾问自动更新财务模型和演示文稿。其代理能理解交易全貌,在新信息影响分析时自动同步修改。这轮融资折射出资本对金融垂直AI的押注:投行初级员工的建模与做PPT苦活,正成为大模型最现实的落地场景之一。

    来源 AI 科技快讯
  8. 市场监管总局发布智能计算集群效能国标:首建大模型训练推理评测体系

    市场监管总局(国家标准委)批准发布《智能计算集群效能指标与测试方法》国家标准化指导性技术文件。该指导性技术文件由全国智能计算标准化工作组归口,首次建立了面向大模型训练与推理场景的智能计算集群效能指标体系与统一测试方法,为我国智能算力基础设施的规划建设与高效运行提供有力支撑。(央视新闻)

    来源 AI 行业观察
  9. 观壹智能完成数亿元首轮融资:IDG资本领投,谢伟迪任CEO

    近日,投中网获悉,生命模型智能公司观壹智能(OneX Intelligence)宣布完成首轮数亿元融资,由IDG资本领投,创世伙伴创投(CCV)、沄柏资本、交大菡源资产、云启资本跟投,财务顾问为棕榈资本。本轮资金将主要用于生命智能基础模型研发、湿实验平台建设和产业合作验证。 据投中嘉川CVSource数据,观壹智能由上

    来源 AI 行业观察
  10. 蚂蚁灵波朱兴:具身智能尚未迎来Scaling Law,中国具身基模终将收敛至3到5家

    “今天世界上还没有任何一家公司,真正迎来了具身智能的Scaling Law(规模定律)时刻。”11月16日,首届蚂蚁灵波具身大模型挑战赛总决赛结果出炉。期间,网易科技等媒体与蚂蚁灵波CEO朱兴、首席科学家沈宇军进行了交流。面对行业内轰轰烈烈的“数据军备竞赛”,朱兴这样说道。 他指出,真机、Ego(第一人称视角)、UMI

    来源 AI 行业观察
  11. Anthropic上线Claude关联账单测试:OAuth计费打通第三方应用

    据多家媒体报道,Anthropic近日在Claude平台推出测试版关联账单功能,并同步启动第三方应用关联计费OAuth测试,被视为其构建开放生态的关键一步。此举顺应大模型从对话工具向智能体、多应用平台演进的趋势,旨在打通第三方应用与底层平台的计费及互联,推动生态开放与协作。

    来源 AI 产业速递
  12. DeepSeek长文本限流引发差评潮:免费模式遇算力考题

    随着AI技术迅速普及,免费与开源成为行业繁荣核心引擎,但庞大用户基数与有限算力资源碰撞,摩擦显现。近日,国内AI领军者DeepSeek对部分超长上下文功能限流,引发应用商店差评潮甚至极端投诉;长对话与角色扮演等需求引爆争议,折射大模型免费模式背后的生态痛点。

    来源 AI 产业速递
  13. DeepSeek长文本限流引差评潮:免费开源模式遭遇极端投诉

    随着人工智能技术的飞速普及,免费与开源一度成为了推动行业繁荣的核心引擎。然而,当庞大的用户基数与有限的算力资源发生碰撞时,现实的摩擦也随之浮出水面。近日,国内人工智能领军者 DeepSeek 因对部分超长上下文功能实施限流,意外引发了一波应用商店的差评潮,甚至出现了极端投诉事件,折射出当前大模型免费

    来源 AI 开发者社区
  14. 蚂蚁灵波开源触觉模型LingBot-Touch:不做本体,通用底座值多少钱?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳具身智能赛道已经从大脑卷到了手指尖。11月10日,蚂蚁集团旗下的蚂蚁灵波科技(以下简称蚂蚁灵波)发布并开源触觉基础模型LingBot-Touch。它能将不同信号转化为同一套触觉表征,让机器人积累的“手感”在不同传感器、灵巧手、

    来源 腾讯网
  15. 李晗离职可灵AI:快手技术副总裁出身,下一步未定

    11月18日,据“申妈的朋友圈”援引知情人士消息,原快手技术副总裁、可灵AI高管李晗已离职,下一步去向尚未确定。李晗2019年加入快手任技术副总裁,2026年1月起全面负责基础大模型和推荐模型两大核心算法业务,同年6月转岗可灵AI,此次离职距转岗约5个月。

    来源 凤凰科技
  16. 清华与港中文团队提出缓存工程:推理成本降27.7%

    用 Agent 跑长程任务时,模型推理和工具调用的历史轨迹会随着任务进行越积越多。超长的历史轨迹会显著拖慢模型的速度并带来高昂的费用。codex 通过总结来进行上下文压缩目前常见的上下文工程(Context Engineering),主要通过裁剪 [1] 或总结 [2] 来压缩历史文本。然而,早期文本一旦被修改,模型已

    来源 腾讯网
  17. 字节跳动马来西亚买GPU贷款被叫停:4.8亿美元融资生变

    【TechWeb】11月18日消息,今日,话题“字节跳动买显卡贷款被叫停”冲上微博热搜,引发热议。 据报道,在美国出口管制新规生效后,字节跳动一笔原本用于在马来西亚采购英伟达GPU的4.8亿美元贷款突然被叫停。有知情人士消息称,评估该交易的至少五家银行已内部讨论退出或不参与,部分银行人士私下判断,这笔贷款“实际上已经死

    来源 AI 行业观察
  18. 红杉资本、光速创投等股东拟在 Anthropic IPO 中追加上十亿美元

    AI赛道资本热度攀升。知情人士称,AI初创公司Anthropic PBC发展势头强劲、商业潜力可观,多位核心早期风投股东拟在其即将到来的IPO中追加投资。顶级资本以真金白银加码未来。在全球大模型竞争中,Anthropic凭借前沿技术研发和企业级市场表现突出,备受资本青睐。

    来源 AI 产业速递
  19. Anthropic 在 Claude 平台推出测试版关联账单功能:打通生态闭环,为第三方应用开启 OAuth 计费测试

    人工智能平台在构建开放生态的道路上正迈出关键一步。据华尔街见闻、财联社及同花顺财经等多家媒体报道,人工智能巨头 Anthropic 近日正式在 Claude 平台上推出了测试版的关联账单功能,并同步启动了第三方应用的关联计费 OAuth 测试。 开启生态互联:OAuth 计费测试全面落地 随着大模型

    来源 AI 开发者社区
  20. DeepSeek限制长对话使用:用户反求付费,官方未给时间表

    【TechWeb】11月15日起,多名用户在社交平台发帖称,DeepSeek已对App与网页版的长对话功能实施了使用限额。页面弹窗显示:“因算力不足,不再支持超过7天不活跃的长对话。” 随后几天,愤怒与不解迅速在社交平台发酵。11月18日,话题“DeepSeek用户呼吁取消7天限制”冲上微博热搜。 但与一般产品限流引发

    来源 AI 行业观察
  21. OpenAI报告:1819名科学家58万条消息,AI提效最高达2.83倍

    智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月17日消息,今天,OpenAI发布一项研究报告,关于科学家使用ChatGPT的情况以及对AI加速科研发现的看法。据受访科学家估计,在完成同等质量工作的前提下,使用AI的工作效率可达未使用时的约1.9倍。OpenAI经济研究团队以ChatGPT学

    来源 腾讯网
  22. AI越聪明选择越单调:马茨实验揭示算法如何压平人类多样性

    我们对 AI 的信任,正在达到史无前例的高度。 无论是在屏幕前码字,还是在生活中做决策,我们都习惯向 AI 寻求那个「完美建议」。用得多了,你甚至会发现它总是精准地踩中我们预期中的最优解。 这种顺滑,很可能是一种被精心设计的心理按摩。 哥伦比亚大学教授桑德拉·马茨用冰淇淋店 Baskin Robbins 做了一个实验。

    来源 AI 行业观察
向下滚动自动加载更多