姚顺雨带队混元Reddit答疑:旗舰大模型如何炼成?
21世纪经济报道记者 彭新 11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员出现在海外社区Reddit,进行了一场持续两小时的AMA(Ask Me Anything,有问必答)公开问答活动。 这是混元团队首次在开发者社区直面全球用户的密集提问,两小时内相关问答页面共收到300多条留言,话题从
21世纪经济报道记者 彭新
11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨带着混元团队研究员现身海外社区Reddit,做了一场两小时的AMA(Ask Me Anything,有问必答)公开问答。
混元团队这是头一回在开发者社区正面接全球用户的密集提问。两小时里,问答页面收到300多条留言,话题从技术选择、下一代模型方向,一路延伸到AGI(通用人工智能)。
这场交流赶在混元接连发布Hy4和Hy4 flash之后。今年2月腾讯完成混元团队与基础设施重建,至今已近9个月。这期间,混元大约每两个月迭代一次大版本,最新一次是11月4日推出Hy4正式版,该模型采用
全球大模型的竞逐还没停,竞争越来越激烈,前沿AI实验室对于
问到Hy研发里最难熬的时刻,有混元团队研究员点了Hy3跨到Hy4那个节点。一名混元团队成员回忆,从Hy3扩到Hy4规模时,他本想针对训练数据多做一些详细的消融实验。正式开训时不确定性仍然不少,他坦言自己当时相当紧张。
“说实话,训练刚开始时,我相当紧张。”这名混元研究员回忆,训练最终顺利得出乎意料,“感觉就像把筹码全押上,结果真的赢了”。
这种摸未知的紧张,也落在对参数规模的判断上。Kimi等同行把目光投向3万亿乃至5万亿参数的超大规模模型时,还停在700B量级的Hy引来外部疑问:Hy模型的参数为什么还这么小?
这个疑问不是没来由。Kimi K3之所以影响巨大,很大程度上正是因为它把开源模型带进了“3T”参数规模的新时代,其能力表现再次印证了
参数规模究竟怎样影响模型能力,有提问者就此向混元追问。混元团队的答复是:从Hy3和Hy4的实践看,一个训练做得扎实的小模型,照样可能跑赢更大的模型,而且跑起来成本更低。
按他们的说法,规模定律并没有失效。团队还明确讲到,下一代Hy模型的规模肯定会明显再扩大一截;与此同时,Hy4在后训练和大规模强化学习这两块,提升余地依然很大。
混元团队还提到,团队在确定Hy4的架构时,曾在
问答中混元团队确认,更小尺寸的Hy4-mini已列入研发路线图,还计划推出更轻量的Flash-Lite,不过两款模型的具体参数与发布时间暂未公布。另外,有提问者提议推出240亿至310亿参数的
混元也在考虑开发更小的图像模型。有提问者指出,现有的
另一个被反复问到的是本地部署。有提问者想知道,96GB显存加128GB内存的机器能否跑Hy4 flash。混元团队给出的说法是,这样的配置能支撑运行,主要权重可以放进显存,部分专家层与
对于时下热炒的模型