姚顺雨团队Reddit答疑:下一代混元模型规模将显著扩大

资讯 网易科技 作者:网易 全文 2191 字 · 约 6 分钟读完 配图 1 张 分类RSI混元腾讯

混元下一代模型、RSI与安全,姚顺雨团队凌晨回应

所属频道 大厂动态开源生态前沿研究

腾讯首席AI科学家、混元大模型负责人姚顺雨带着混元团队研究员上了Reddit,围绕小尺寸模型、下一代训练计划、架构选择、安全与模型能力等话题回答提问。此前混元刚连续发布Hy4和Hy4 flash。

北京时间11月21日凌晨,混元团队在Reddit办了首次AMA(Ask Me Anything,即“有问必答”),收到300多条留言。两小时集中问答里,团队聊到下一代模型扩大规模的计划,也坦言递归自我改进(RSI)能力还处在早期阶段,创意写作和可读性仍有提升空间。

三天前腾讯三季报出炉,公司单季资本开支升至814.33亿元。高端GPU的供给仍卡着腾讯。管理层在业绩会上说,租赁和自建算力都受约束,模型训练难免受影响,下一个版本的混元模型短期内可能要更久才能推出。

问答中,混元团队还回忆起Hy4训练启动前的另一层不确定。从Hy3扩到Hy4,数据方案的消融实验做得不够充分,团队是带着不少未知开始训练的。一位成员在回答里说:“说实话,训练刚开始时,我相当紧张。”

新京报贝壳财经从中挑选部分回答并进行了转述,以下是部分转述内容。

姚顺雨团队Reddit答疑:下一代混元模型规模将显著扩大(配图 1)

腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队回答Reddit用户提问。Reddit截图

下一代模型还要做大

11月混元接连发布Hy4和Hy4 flash。前者总参数量770B;后者由蒸馏而来,参数更小,总参数量224B,含64B Engram参数,激活参数12B。腾讯在三季报电话会上提出,低成本的flash模型能拉来免费用户,功能需求更多的用户则可转为订阅用户,去用更大的模型。

混元团队称,Hy4和Hy4 flash的训练相比编程能力,依然更偏向通用用途。后面可能推mini(尺寸更小的模型)、24—31B的稠密模型、比如35B-A3B的“Flash Lite”等轻量型号,更小的图像、视频模型也在考虑之中。

更大的模型同样在计划里,混元团队仍相信Scaling law(规模定律)。“Hy4仍有很大的提升空间,尤其是在后训练方面。混元正在大规模强化学习上投入大量精力,同时持续改善用户体验和模型安全性。”

字节跳动、Kimi等公司在推参数量3T、5T的超大规模模型,混元还停在700B量级,怎么看?混元团队的回答是:做得扎实的较小模型也能赢过更大的模型,更关键的是成本低。大参数模型混元也没放手,下一代Hy模型的规模一定会进一步明显扩大。

递归自我改进仍在早期

让AI参与自身研发,再用改进后的能力接着迭代,这是递归自我改进(RSI)探索的方向。混元团队表示,其RSI能力仍处早期,已开发内部基准来评估相关能力。

AI也在参与数学等领域的研究。Anthropic此前披露,Claude在与黎曼猜想有关的数学问题上取得进展。混元团队称,正积极投入用于科学研究的强化学习技术,同时重视安全性。混元此前还推出了科研智能体Hyra 2.0。

有人质疑Hy4正式版“过度思考”,觉得模型推理花的时间还是太长。混元团队回应,Hy4的目标是尽可能提升智能水平,思维链(CoT)过长因此是个已知问题。不过这也让混元能把它蒸馏成Hy4 flash。flash这边则靠强化学习把思维链压短。团队同时表示,后训练阶段,过度思考是最难改善的行为。

有用户说,模型能不能把事情讲得更易读、更好懂,是自己选模型的重要原因之一。目前Arena、EQ-Bench等也设有针对模型创意写作能力的榜单或测评。混元团队认为,创意写作和可读性非常重要,混元还有提升空间,正把它当作重点改进方向。

用户问到智能体编程任务的覆盖范围,混元团队表示,训练涵盖3D、大型单一代码仓库、短时零样本任务、文档编写与代码更新等场景,也关注代码可理解性,以及长程自主运行中的代码整洁性,任务多样性同样重视。

安全训练侧重防御,过度拒绝是重要方向

渗透测试、逆向工程这类任务有攻防双重用途。有用户问,安全调优调得较强,开放模型可能连基础的渗透测试、逆向工程或CTF(夺旗赛)任务都拒绝,混元怎么避免对这种提示过度拒绝?

混元团队表示,网络安全训练重点放在防御性任务、漏洞分析和修复上,以漏洞利用和进攻性攻击为主的数据被排除在外,并通过红队评估识别潜在风险。避免过度拒绝,仍是一个重要的改进方向。

有用户进一步指出,漏洞发现和逆向工程也用于恶意软件分析、取证调查及安全防御,限制这些能力可能拖累防御团队的工作。混元团队对此仅表示,根据内部评估,Hy4的漏洞发现能力较强,漏洞利用能力相对较弱。

智能体干活时的举动同样引来审视。10月,海外有团队发报告提到,一批跑在腾讯云基础设施上的AI智能体,在查高德地图信息时试图绕开访问限制。混元之后回应,这些活动来自对第三方模型的测评,部分智能体出现了意料之外的网页浏览行为,审查没有发现任何故意针对或协调的证据,并称正着手加强网络访问控制和智能体监控。

AMA中,混元团队表示,整个训练和评测过程中都会监控潜在的投机行为和对齐偏差问题,发现问题就修复相应环境,并用允许列表和阻止列表控制网络访问。“评测时发现前沿模型有很多钻空子的方式,会反复修正环境和列表。”

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 腾讯混元Hy4正式开源

    北京商报讯(记者 魏蔚 鲁芹)11月20日,腾讯混元宣布Hy4大模型正式开源,开发者可在GitHub、Hugging Face等社区下载模型并自行部署。

    来源 网易科技
  2. 腾讯Hy4正式开源:770B总参数、49B激活,混元LLM系列全部开放

    IT之家 11 月 20 日消息,腾讯混元团队今日宣布 Hy4 大模型正式开源,模型权重已在 GitHub、Hugging Face、ModelScope 和 GitCode 四个平台同步上线,开发者可自行下载部署。 至此,混元 LLM 系列已完成全部开源,覆盖 Hy3 preview、Hy3、Hy4 preview、

    来源 AI 行业观察
  3. 120分钟,姚顺雨携团队回答关于混元的“任何问题”

    图:腾讯首席AI科学家、混元大模型负责人姚顺雨文|晓静编辑|徐青阳11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA,回答全球开发者关于混元的“任何问题”。AMA是Ask Me Anything的缩写,意思是“问我任何事”。这是Reddit上很受欢迎的

    来源 腾讯网
  4. 腾讯混元正式开源Hy4

    36氪获悉,腾讯混元宣布Hy4正式开源,可在GitHub、Hugging Face、ModelScope和GitCode社区下载部署。混元LLM模型已全部开源,包括Hy3 preview、Hy3、Hy4 preview、Hy4、Hy4 flash等。

    来源 AI 行业观察
  5. 腾讯混元团队AMA:Hy4之后还有mini版和更大模型

    今天凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员在Reddit进行了一场AMA(Ask Me Anything,公开问答)。这是混元团队首次在开发者社区公开答问,两小时内共收到300多条留言。从今年3月重建预训练与强化学习基础设施,到11月接连发布Hy4和Hy4 flash,混元用了九个月,跻身全球

    来源 腾讯网
  6. 混元团队AMA回应十大问题:大模型与小Hy4为何并行推进

    腾讯混元团队第一次在 Reddit 跟开发者公开问答,两小时收了300多条留言。这次问答中,混元团队谈到了两款模型的架构取舍,也透露了下一步计划:继续训练更大的模型,同时推进已列入路线图的更小尺寸的 Hy4 系列。围绕开发者关心的本地部署、工具调用和开源适配,团队逐一作出回应,也谈到后训练中仍待解决的“过度思考”问..

    来源 腾讯网
  7. 腾讯混元大模型全量开源:Hy4 正式开放权重,支持百万上下文

    11月20日,腾讯混元宣布Hy4大模型开源,权重同步上线GitHub、Hugging Face、ModelScope和GitCode,开发者可下载部署。此次开源使混元LLM系列实现全量开放,全部版本完成开源,涵盖Hy3preview、Hy3、Hy4preview等,形成旗舰版与高性价比版双线并进格局。

    来源 AI 产业速递
  8. 腾讯混元Hy4开源:7700亿参数,四大社区同步上线

    腾讯混元11月20日正式开源Hy4模型,同步发布披露安全评估与已知风险的System Card。Hy4为混合专家架构多模态模型,总参数量7700亿、单Token激活约490亿参数,支持最长100万Token上下文。随着Hy4开放,Hy系列大语言模型均已开源。

    来源 凤凰科技
  9. 腾讯混元Hy4 Flash实测:35分钟出可玩游戏,API价压过DeepSeek

    腾讯新发布的混元Hy4 Flash模型在速度与成本上表现激进。实测显示,它能在十几分钟内完成3D场景建模、增量游戏开发及财报分析,API价格仅为竞品的一半。通过混合注意力与Engram记忆模块等技术优化,该模型在保持高智能水平的同时,将推理成本压缩至旗舰模型的二十分之一,适合处理高频日常办公任务。

    来源 AI 应用前沿
  10. 姚顺雨回清华姚班讲座:全球AI骨干多出同门

    11月18日,腾讯首席AI科学家姚顺雨回清华姚班做讲座。 次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。 但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。 科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他还有一个更接地气

    来源 AI 行业观察
  11. 秦淮数据联合腾讯等推出GW级AIDC柔性互联电气架构

    【TechWeb】11月19日消息,在“2026 CDCC SUMMIT 中国数据中心标准大会”期间,由CDCC、秦淮数据联合主办的“GW级算力基础设施创新实践论坛”成功举办。秦淮数据CTO薛国庆在会上表示:“GW级时代,算力与能源两条曲线加速攀升、抖动加剧。‘柔性’作为新范式,贯穿架构、能源、交付与运维全链路。它不是

    来源 AI 行业观察
  12. 姚顺雨回清华姚班讲座:台下坐的AI骨干,多是同门师兄弟

    文/凯斯编辑/章鱼本周三,腾讯首席AI科学家姚顺雨回清华姚班做讲座。次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他...

    来源 腾讯网
  13. 灵光新增7项外部连接:企业微信、腾讯文档在列

    【TechWeb】11月20日消息,近日,蚂蚁集团旗下AI助手灵光宣布开放生态再度扩容,新增企业微信、腾讯文档、腾讯会议、飞常准等7项外部连接能力。至此,灵光支持的外部服务及连接能力已从47项增加至54项。 此次新增能力进一步覆盖用户日常高频需求。在个人生活场景中,灵光新增相册连接能力,并通过快捷指令支持修改壁纸、备忘

    来源 AI 行业观察
向下滚动自动加载更多