姚顺雨带队混元Reddit答疑:旗舰大模型如何炼成?

资讯 腾讯网 作者:21世纪经济报道 全文 1078 字 · 约 3 分钟读完 分类混元腾讯大模型

21世纪经济报道记者 彭新 11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员出现在海外社区Reddit,进行了一场持续两小时的AMA(Ask Me Anything,有问必答)公开问答活动。 这是混元团队首次在开发者社区直面全球用户的密集提问,两小时内相关问答页面共收到300多条留言,话题从

所属频道 大厂动态模型发布开源生态

21世纪经济报道记者 彭新

11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨带着混元团队研究员现身海外社区Reddit,做了一场两小时的AMA(Ask Me Anything,有问必答)公开问答。

混元团队这是头一回在开发者社区正面接全球用户的密集提问。两小时里,问答页面收到300多条留言,话题从技术选择、下一代模型方向,一路延伸到AGI(通用人工智能)。

这场交流赶在混元接连发布Hy4和Hy4 flash之后。今年2月腾讯完成混元团队与基础设施重建,至今已近9个月。这期间,混元大约每两个月迭代一次大版本,最新一次是11月4日推出Hy4正式版,该模型采用

全球大模型的竞逐还没停,竞争越来越激烈,前沿AI实验室对于

问到Hy研发里最难熬的时刻,有混元团队研究员点了Hy3跨到Hy4那个节点。一名混元团队成员回忆,从Hy3扩到Hy4规模时,他本想针对训练数据多做一些详细的消融实验。正式开训时不确定性仍然不少,他坦言自己当时相当紧张。

“说实话,训练刚开始时,我相当紧张。”这名混元研究员回忆,训练最终顺利得出乎意料,“感觉就像把筹码全押上,结果真的赢了”。

这种摸未知的紧张,也落在对参数规模的判断上。Kimi等同行把目光投向3万亿乃至5万亿参数的超大规模模型时,还停在700B量级的Hy引来外部疑问:Hy模型的参数为什么还这么小?

这个疑问不是没来由。Kimi K3之所以影响巨大,很大程度上正是因为它把开源模型带进了“3T”参数规模的新时代,其能力表现再次印证了

参数规模究竟怎样影响模型能力,有提问者就此向混元追问。混元团队的答复是:从Hy3和Hy4的实践看,一个训练做得扎实的小模型,照样可能跑赢更大的模型,而且跑起来成本更低。

按他们的说法,规模定律并没有失效。团队还明确讲到,下一代Hy模型的规模肯定会明显再扩大一截;与此同时,Hy4在后训练和大规模强化学习这两块,提升余地依然很大。

混元团队还提到,团队在确定Hy4的架构时,曾在

问答中混元团队确认,更小尺寸的Hy4-mini已列入研发路线图,还计划推出更轻量的Flash-Lite,不过两款模型的具体参数与发布时间暂未公布。另外,有提问者提议推出240亿至310亿参数的

混元也在考虑开发更小的图像模型。有提问者指出,现有的

另一个被反复问到的是本地部署。有提问者想知道,96GB显存加128GB内存的机器能否跑Hy4 flash。混元团队给出的说法是,这样的配置能支撑运行,主要权重可以放进显存,部分专家层与

对于时下热炒的模型

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关 AI 工具

AI 导航
腾讯元宝 腾讯元宝官网,元宝ai网页版,app,电脑版下载,基于混元大模型,支持deepseek满血版 一、腾讯元宝是… 聊天对话 · tencent.com 腾讯混元大模型 腾讯混元大模型由腾讯全链路自研,在文本和多模态模型性能方面表现卓越,处于业界领先水平。其混元 API 整合了… 大模型与开发平台 · tencent.com 快手可图大模型Kolors 可图大模型(Kolors)是快手大模型团队自研打造的文生图AI大模型,能够根据用户的文字输入生成风格多样、画… AI 绘画生图 · kuaishou.com 盘古大模型 华为盘古ai大模型官网入口,1100亿密集参数,40TB海量数据精细训练而成 简介 盘古NLP大模型是一项基… 大模型与开发平台 · huaweicloud.com 腾讯云 AI 代码助手 腾讯云 AI 代码助手是一款AI辅助编码工具,基于腾讯混元代码大模型,提供技术对话、代码补全、根据注释生成代… 聊天对话 · tencent.com BlueLM蓝心大模型 蓝心大模型官网,vivolm,vivo自研的通用大模型 简介 蓝心大模型(BlueLM ),强大的语言理解能… 聊天对话 · vivo.com 腾讯元器 腾讯元器官网,一站式Ai智能体创作与分发平台,基于混元大模型 简介 腾讯元器是腾讯推出的Al智能体创作与开发… 大模型与开发平台 · tencent.com 腾讯混元3D 腾讯混元3D是由腾讯推出的一站式AI 3D内容创作平台,混元3D通过创新的技术架构,可以在短短10秒内完成3… AI 绘画生图 · tencent.com

相关推荐 按相关度与热度排序

全部资讯 →
  1. 姚顺雨团队Reddit答问:混元下一代模型规模将显著扩大

    连续发布Hy4和Hy4 flash后,腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队研究员来到Reddit,回应关于小尺寸模型、下一代训练计划、架构选择、安全与模型能力等问题。 北京时间11月21日凌晨,混元团队首次在Reddit举办AMA(Ask Me Anything,即“有问必答”),共收到300多条留言。

    来源 腾讯网
  2. 120分钟,姚顺雨携团队回答关于混元的“任何问题”

    图:腾讯首席AI科学家、混元大模型负责人姚顺雨文|晓静编辑|徐青阳11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA,回答全球开发者关于混元的“任何问题”。AMA是Ask Me Anything的缩写,意思是“问我任何事”。这是Reddit上很受欢迎的

    来源 腾讯网
  3. 腾讯混元团队AMA:Hy4之后还有mini版和更大模型

    今天凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员在Reddit进行了一场AMA(Ask Me Anything,公开问答)。这是混元团队首次在开发者社区公开答问,两小时内共收到300多条留言。从今年3月重建预训练与强化学习基础设施,到11月接连发布Hy4和Hy4 flash,混元用了九个月,跻身全球

    来源 腾讯网
  4. 混元团队AMA回应十大问题:大模型与小Hy4为何并行推进

    腾讯混元团队第一次在 Reddit 跟开发者公开问答,两小时收了300多条留言。这次问答中,混元团队谈到了两款模型的架构取舍,也透露了下一步计划:继续训练更大的模型,同时推进已列入路线图的更小尺寸的 Hy4 系列。围绕开发者关心的本地部署、工具调用和开源适配,团队逐一作出回应,也谈到后训练中仍待解决的“过度思考”问..

    来源 腾讯网
  5. 腾讯Hy4正式开源:770B总参数、49B激活,混元LLM系列全部开放

    IT之家 11 月 20 日消息,腾讯混元团队今日宣布 Hy4 大模型正式开源,模型权重已在 GitHub、Hugging Face、ModelScope 和 GitCode 四个平台同步上线,开发者可自行下载部署。 至此,混元 LLM 系列已完成全部开源,覆盖 Hy3 preview、Hy3、Hy4 preview、

    来源 AI 行业观察
  6. 姚顺雨清华演讲:AI最稀缺的是Trust和Taste,小模型体系值得关注

    腾讯 AI 负责人姚顺雨昨天在清华做了一次分享,博主@幻觉工程师 根据搞到的分享材料,整理成了笔记如下:1. 未来一个值得关注的方向是小模型体系。AI for AI会显著推动小模型发展,因为训练小模型需要的算力更少,可以进行更多实验。未来可能先训练一个能力足够强的大模型,再通过蒸馏得到不同尺寸、分别适配不同任务的模型.

    来源 腾讯网
  7. 腾讯混元正式开源Hy4

    36氪获悉,腾讯混元宣布Hy4正式开源,可在GitHub、Hugging Face、ModelScope和GitCode社区下载部署。混元LLM模型已全部开源,包括Hy3 preview、Hy3、Hy4 preview、Hy4、Hy4 flash等。

    来源 AI 行业观察
  8. 腾讯混元大模型全量开源:Hy4 正式开放权重,支持百万上下文

    11月20日,腾讯混元宣布Hy4大模型开源,权重同步上线GitHub、Hugging Face、ModelScope和GitCode,开发者可下载部署。此次开源使混元LLM系列实现全量开放,全部版本完成开源,涵盖Hy3preview、Hy3、Hy4preview等,形成旗舰版与高性价比版双线并进格局。

    来源 AI 产业速递
  9. 腾讯混元Hy4正式开源:模型安全评估卡片同步发布

    今天,Hy4正式开源,可在 GitHub、 Hugging Face、ModelScope 和 AtomGit 社区下载部署。 延续负责任发布与开源的理念,我们也发布了Hy4 模型安全评估卡片(System Card),带来更全面的安全评估报告。 混元 LLM 模型已全部开源,包括Hy3 prev

    来源 AI 开发者社区
  10. 腾讯混元Hy4开源:7700亿参数,四大社区同步上线

    腾讯混元11月20日正式开源Hy4模型,同步发布披露安全评估与已知风险的System Card。Hy4为混合专家架构多模态模型,总参数量7700亿、单Token激活约490亿参数,支持最长100万Token上下文。随着Hy4开放,Hy系列大语言模型均已开源。

    来源 凤凰科技
  11. 腾讯混元Hy4 Flash实测:35分钟出可玩游戏,API价压过DeepSeek

    腾讯新发布的混元Hy4 Flash模型在速度与成本上表现激进。实测显示,它能在十几分钟内完成3D场景建模、增量游戏开发及财报分析,API价格仅为竞品的一半。通过混合注意力与Engram记忆模块等技术优化,该模型在保持高智能水平的同时,将推理成本压缩至旗舰模型的二十分之一,适合处理高频日常办公任务。

    来源 AI 应用前沿
  12. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
  13. 姚顺雨回清华姚班讲座:台下坐的AI骨干,多是同门师兄弟

    文/凯斯编辑/章鱼本周三,腾讯首席AI科学家姚顺雨回清华姚班做讲座。次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他...

    来源 腾讯网
  14. DeepSeek-VL前负责人张博创业:高瓴投600万美元,押注低门槛大模型

    高瓴投了600万美元。一位DeepSeek早期核心成员,创业了。11月19日,DeepSeek-VL前项目负责人张博(Tony Zhang)宣布,其创办的AI公司Simplex AI正式开源个人智能体产品Linger。这款产品能在用户自己的电脑上运行,替人操作软件、处理邮件,甚至让多个AI助手共同完成任务。为了降低普通

    来源 腾讯网
  15. 姚顺雨回清华姚班讲座:全球AI骨干多出同门

    11月18日,腾讯首席AI科学家姚顺雨回清华姚班做讲座。 次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。 但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。 科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他还有一个更接地气

    来源 AI 行业观察
向下滚动自动加载更多