腾讯姚顺雨团队深夜回应一切:算力不足、模型刷榜、雷霆大思考

资讯 智东西 作者:毕 伟豪 全文 9623 字 · 约 25 分钟读完 配图 5 张 分类混元腾讯算力

下一代混元模型露出冰山一角。

所属频道 大厂动态算力与芯片开源生态
腾讯姚顺雨团队深夜回应一切:算力不足、模型刷榜、雷霆大思考(配图 1)

智东西(公众号:zhidxcom)
作者 |  毕伟豪
编辑|李水青

智东西11月21日报道,今天凌晨,腾讯混元团队在社交媒体平台Reddit举行了一场AMA活动,与全球开发者围绕Hy4系列模型展开交流。姚顺雨也出现在了评论区,只是哪个是他的马甲我们不得而知。

腾讯姚顺雨团队深夜回应一切:算力不足、模型刷榜、雷霆大思考

▲姚顺雨在X预告本次Reddit AMA活动(图源:X)

此次AMA处于一个非常有趣的时间点。

就在昨天,腾讯刚刚开放旗舰模型Hy4的权重,并发布了模型安全评估卡片(System Card)。此前几天,腾讯还推出了主打低成本、高效率的Hy4 flash,接连两款模型的发布,让腾讯混元的技术路线成为社区关注的焦点。

与此同时,AI行业的竞争也在发生变化。近期,第三方模型评测机构Artificial Analysis大幅调整评测体系,部分中国模型的评分出现波动。在高端算力获取受限、全球前沿模型持续迭代的背景下,中国模型如何缩小与顶尖模型的差距,也成为开发者关心的问题。

智东西也参与了此次AMA,并向腾讯混元团队提出了问题:随着先进AI芯片的获取受到越来越多限制,腾讯Hy模型未来能否继续缩小与全球前沿模型的差距?

腾讯混元团队成员回应称:“我们正在尽可能充分地利用现有资源,以追赶前沿水平。”

腾讯姚顺雨团队深夜回应一切:算力不足、模型刷榜、雷霆大思考

▲混元团队回答智东西提问(图源:智东西)

除了算力问题,腾讯混元团队还在这场交流中透露了不少新信息。

在模型规模方面,混元团队明确表示,下一代Hy模型将进一步扩大参数规模,同时继续投入大规模强化学习。

对于更小的模型,该团队透露,Flash-Lite、面向24GB显存设备的模型等产品正在规划之中。

技术层面,腾讯还首次在此次交流中披露了Hy4的一些架构选型细节。团队曾在GQA和MLA两种注意力机制之间反复权衡,最终由于DSA降低了MLA在解码阶段的计算开销,才决定采用MLA架构。

此外,对于模型评测、安全限制、AI编程生态,以及模型能否实现递归自我改进(RSI)等问题,腾讯Hy团队也给出了回应。

Hy4是腾讯最新一代旗舰模型,重点强化长程软件工程、工具调用、视觉理解和科研等能力。Hy4 flash则进一步优化推理成本,总参数量为224B,包含64B Engram参数,每Token仅激活12B参数。

根据腾讯披露的数据,在自建日常工作任务评测WorkIndex中,Hy4 flash的单任务成本仅为Hy4的1/20。在涉及85名内部用户、259项工作任务的盲测中,其单任务成本约为0.26元。

不过,Hy4在部分高难度任务上仍与全球顶尖闭源模型存在差距。如何在有限算力下继续提升模型能力,同时兼顾推理成本、产品体验和开源生态,仍是混元团队需要面对的问题。

以下是智东西从此次AMA中整理的重点内容,为了方便阅读,我们做了不改变原意的整理:

完整问答地址:

https://www.reddit.com/r/LocalLLaMA/comments/1y15w4a/tencent_hy_team_shunyu_yao_here_ask_us_anything/

一、用有限算力追赶前沿,下一代模型将大幅扩容,小尺寸模型在路上

(1)智东西提问: 随着先进AI芯片的获取日益受限,腾讯Hy目前面临的最大瓶颈是什么?是算力、训练效率,还是算法?未来Hy系列模型能否继续缩小与全球顶尖模型之间的差距?

腾讯混元:我们正在尽可能充分地利用现有资源,以追赶前沿水平。

(2)网友提问: 未来Hy4.5是否计划将模型参数规模扩大至1.5万亿至2万亿?

腾讯混元:下一代Hy模型肯定会进一步大幅扩大规模。

(3)网友提问: 你们认为当前Hy系列模型已经接近能力上限了吗?未来更强的模型是否必须增加参数量,还是可以保持现有规模,通过后训练进一步提升能力?

腾讯混元:我们相信Hy4仍然有很大的提升空间,尤其是在后训练方面。我们正在大力投入大规模强化学习(RL),同时持续改善用户体验和模型安全性。敬请期待后续更新。我们还计划训练规模更大的模型。我们坚信Scaling的重要性,并将继续坚持这一方向。

(4)网友提问: 字节跳动、Kimi等公司似乎正在向3T甚至5T参数的超大规模模型进军,而腾讯Hy系列仍处于700B左右的规模。为什么选择这样的路线?你们如何看待参数量对模型智能水平的影响?未来是否计划进一步扩展模型规模?

腾讯混元:Hy3和Hy4已经证明,规模较小但训练扎实的模型往往也能超越更大的模型。更重要的是,小尺寸模型的成本更低,而且在研发过程中,我们还能学到更多、积累更多经验。

(5)综合多位网友提问: 腾讯未来是否会推出Hy4-mini,以及24B—31B规模的稠密模型?是否有计划推出能够在24GB显存、64GB—128GB内存设备上运行的小尺寸模型?对于100B参数以下、专门面向编程任务优化的模型,又有哪些规划?

腾讯混元:Hy4-mini已经在开发路线图中,未来还将推出更多小型模型。 对于24B—31B规模的稠密模型,团队正在考虑;对于更小规模的稠密模型,也有推出的可能,但目前可能不会专门开发100B参数以下、针对编程任务优化的模型。

在本地部署方面,混元团队确认未来会推出面向24GB显存设备的模型,也会继续开发适合64GB—128GB内存设备运行的模型。 对于与当前模型规模相近、经过Q4量化后适合128GB内存设备运行的开放权重模型,团队同样给出了肯定回答。

此外,Hy4 flash还将继续更新,团队正在优化Flash级模型的预训练和后训练方案。 至于Hy4和Hy4 flash的定位,团队表示,两款模型均为通用模型,并非专门面向编程任务训练。

(6)综合多位网友提问: 除了语言模型,腾讯是否会推出更小的开源图像模型、升级视频生成和翻译模型?Hy4能否支持方言识别、实时语音翻译?在持续学习和通用人工智能(AGI)方面,又取得了哪些进展?

腾讯混元: 对于图像生成,团队表示正在考虑推出更小的图像模型,同时建议开发者近期关注视频模型的相关动态,但没有透露具体发布时间。

在翻译方面,团队确认Hy-MT模型即将升级,并表示会认真考虑用户提出的中文网络小说翻译建议。

对于方言识别和实时语音翻译,混元团队坦言,Hy4目前尚不支持音频理解或音频生成,但用户可以尝试腾讯元宝提供的语音识别(ASR)和语音合成(TTS)功能,或许能够满足相关需求。

关于持续学习,团队认为这是一个很有前景的研究方向,目前正在积极开展相关研究,但没有披露具体成果。

此外,有网友引用AGI能力分级体系,询问Hy4当前达到了什么水平。混元团队成员给出了个人判断——“大约是2.5级。”

腾讯姚顺雨团队深夜回应一切:算力不足、模型刷榜、雷霆大思考

▲Google DeepMind提出的AGI能力分级体系(图源:Reddit)

二、架构选择曾经反复权衡,MoE并非越稀疏越好

(7)网友提问: 腾讯是否计划推出面向低延迟任务的Flash-Lite小尺寸模型?与mHC和门控残差(GR)相比,iHC有哪些优势?为什么Hy4 flash选择滑动窗口注意力(SWA),未来是否会尝试QSA等其他注意力机制?

另外,Hugging Face上旧版开放权重模型的许可证是否也会更新,以支持欧洲经济区(EEA)用户?

腾讯混元: 很棒,有很多技术问题。

第一,会的,敬请期待一款技术先进的Flash-Lite模型。

第二,与mHC和GR相比,iHC要简单得多,能够以更低的成本实现相近的性能。

第三,SWA能够将KV Cache规模缩小4倍,从而显著降低推理服务成本。

第四,当然!我们对各种架构创新都持开放态度。

(8)网友提问: 参与开放权重模型研发和开源社区贡献,是一种怎样的体验?

腾讯混元: 为开源社区作出贡献是一件非常有成就感的事情,尤其是看到这么多人关注我们的工作时。

(9)网友提问: 研发过程中,你个人经历过最困难的时刻是什么?

腾讯混元:对我来说,最困难的是从Hy3扩展到Hy4的过程。

我们没有按照我希望的程度,对训练数据开展足够多的详细消融实验,因此在开始训练时仍然存在很多不确定性。说实话,训练刚开始的时候,我非常紧张。

幸运的是,最终的训练过程出乎意料地顺利。那种感觉就像孤注一掷地赌了一把,结果真的赢了。

(9)网友提问: 如果可以许一个愿望,你希望未来的大语言模型能为你做什么?

腾讯混元: 作为一个十足的美食爱好者,我希望未来的大语言模型能够创造全新的食谱,而且真的能确保做出来的味道完全符合我的喜好。

(10)网友提问: 在最终采用的Hy4架构之外,腾讯Hy团队曾认真考虑过、但最终放弃的最有竞争力的替代架构是什么?为什么放弃?

腾讯混元: 我们此前曾在GQA和MLA之间反复权衡。

MLA的计算强度明显高于GQA,导致在推理GPU上进行推测解码(Speculative Decoding)时,计算能力成为性能瓶颈。

不过,在KV Cache大小相同的情况下,MLA能够提供比GQA更好的模型质量。

幸运的是,随着DSA的引入,我们得以降低MLA在解码阶段的计算强度。这最终改变了两种架构之间的权衡结果,让我们决定采用MLA。

(11)网友提问: 从Hy4的原始架构发展到Hy4 flash时,你们如何决定哪些网络层或架构组件应该保留?每一次调整神经网络层的决定,主要依据什么?

腾讯混元:Hy4 flash继承了Hy4的多项技术,包括iHC、门控MLA和DSA,同时引入了混合SWA、LatentMoE和Engram等新的架构组件。

这些设计选择背后,都有团队在不同模型规模的Scaling实验中积累的大量结果,以及模型架构与推理系统的协同设计。

(12)网友提问:额外的参数密度对模型智能水平有多重要?你们是否测试过将Hy4 flash调整为156B总参数、8B或5B激活参数的情况?模型质量会下降多少?

腾讯混元:我们进行过不同MoE稀疏度的Scaling实验,类似于MAI-Thinking-1论文中的研究,并得出了大致相同的结论。

在激活参数量固定的情况下,提高稀疏度能够改善计算效率。因此,这条技术路线是有效的。

但是,156B-A8B或A5B属于完全不同的权衡方式。这种做法是在保持总参数量不变的情况下,减少激活参数量。我预计,这会显著损害模型质量。

激活参数量本质上决定了模型的计算预算。提高稀疏度可以挽回一部分计算效率,但无法完全弥补激活参数减少的影响。

归根结底,减少激活参数意味着更少的计算投入,以及能力更弱的模型。

(13)网友提问: 我一直希望有实验室能够把MoE稀疏度推向新的高度,比如开发一款200B总参数、3B激活参数的模型,还可以结合Engram。它可能表现很差,也可能出乎意料地优秀,但推理速度应该很快,MoE架构究竟可以做到多稀疏?

腾讯混元:我的看法是,过度稀疏的MoE架构不利于推理。这种架构会消耗大量GPU显存,却无法充分利用GPU的计算能力(FLOPs)。

实际上,我们完全可以构建一个总参数规模相同、但激活参数更多的模型,同时实现相同的推理吞吐量。

(14)网友追问: 对于数据中心的高并发推理服务,这个观点确实成立。但在本地部署中,情况有所不同。受限于内存带宽,A12B模型在Strix Halo和DGX Spark设备上的运行速度较慢,而一些激活参数更少的模型反而表现不错。

腾讯混元: 我理解你的观点。对于端侧模型,我们会采用不同的设计思路,更紧密地结合边缘设备GPU硬件的特点,共同设计模型架构。

(15)网友提问: 你们是如何确定Hy4 flash中约63.5B的Engram参数与约155.5B的神经网络主干参数之间的分配比例的?Engram论文中提到,20%—25%左右的比例对其模型较为理想。你们是否也在实验中发现了类似规律?

腾讯混元:我们发现,Engram参数占总参数量(包括Engram本身)约1/3时,能够达到一个最佳平衡点,对应U形曲线的最低点。

(16)网友提问: 如果让Hy4完全自主运行,它目前是否具备通过递归自我改进(RSI)开发下一代模型的能力?你们是否建立了相关基准测试,能够超越简单的运行时长和工具调用次数,评估模型真正的自主研发能力?

腾讯混元:我们的RSI能力仍处于早期阶段。我们已经开发了多个内部评测基准,用来评估RSI的关键能力。此外,我们也正在开发Hyra 3.0,不断为模型研发打造更好的可复用工具。

(17)网友提问: 未来Hy系列模型最主要的能力提升路径是什么?

腾讯混元:我们当前的首要任务,是打好坚实的基础、提升模型智能水平,并与旗下产品紧密协作,提供更好的用户体验。

(18)网友提问: 和Hy4 Preview一样,Hy4正式版有时也会花费过长时间进行推理。这种过度思考问题是由强化学习的奖励机制设计导致的,还是与训练数据分布有关?模型能否学会在适当的时候停止思考?

腾讯混元:Hy4的目标是最大限度提升模型智能水平,因此,较长的思维链(CoT)是一个已知问题。

不过,这也使我们能够通过蒸馏,将Hy4的能力迁移到Hy4 flash,并实现良好的成本效率。对于Hy4 flash,我们使用强化学习来确保其思维链保持较短。

(19)网友提问: 当模型编造错误的命令语法或参数标志时,命令行工具(CLI)很容易出错。你们是如何通过强化学习提高工具调用准确性,同时避免模型丢失上下文的?

腾讯混元: 为了提高工具调用的准确性,我们在强化学习数据上投入了大量精力,其中包括模型容易出错的高难度案例。

我们还采用了细粒度奖励机制,对关键细节上的错误施加更严厉的惩罚。

在上下文保持方面,我们正在不断延长强化学习训练所使用的上下文长度,并专门提升模型的上下文压缩能力。

(20)网友提问: 在不泄露内部信息的前提下,能否介绍一下Hy4的Agent编程任务主要集中在哪些场景?

例如3D建模、大型单体代码仓库、短时间零样本编程、文档编写与代码更新、代码及注释和文件结构的可理解性,以及多轮开发中的代码整洁度。模型能否在无人干预的情况下自主执行数百轮操作,同时保持代码质量?

腾讯混元:我们覆盖了上述所有场景,并且非常重视任务的多样性。

(21)网友提问: Hy4 flash如何确定不同网络层和专家的量化精度?在量化过程中,如何保证MoE路由器的稳定性?如果进一步减少激活参数量,模型的哪些能力会受到影响?

腾讯混元: 我们会根据网络层对量化的敏感程度分配精度。例如,down投影通常更加敏感,因此需要更多比特。相比为每个专家分别设置精度,我们更倾向于按张量分配,以提高推理引擎的兼容性。

在量化感知训练(QAT)中,我们会将MoE路由器与模型其他部分一起训练,保持路由器稳定。 相比LoRA等方案,我们更倾向于全参数QAT,以获得更好的模型质量,但目前尚未开展LoRA相关实验。

如果将激活参数量从12B减少至3B,我们预计推理深度、长上下文追踪能力和工具调用可靠性会率先退化。

此外,Engram参数不计入12B激活参数之中。模型每一层都使用独立的N-gram表,在内存预算允许的情况下,我们会优先考虑模型能力。

(22)网友提问: 最近小米MiMo团队详细公开了模型训练过程。你们如何看待这种做法?如果方便透露,MiMo的后训练方法与你们的方案接近吗?还是在训练成本、数据规模、任务类型比例等方面存在明显差异?

腾讯混元: 很高兴看到MiMo团队分享他们的研究工作,我们的强化学习训练规模更大。

(23)网友提问: 未来是否有可能推出采用循环式MoE架构的模型?

腾讯混元:完全有可能,敬请关注。

(24)网友提问: 我看到了Hy4 flash在大量PHP代码仓库上的测试结果。它很好地完成了一些Shell和DevOps任务,例如ZFS数据集迁移这样的特殊场景。你们是如何处理PHP类型推断中的特殊问题的?

腾讯混元: 更好的训练数据、多样化的内部评测,以及“不针对基准测试刷分”(non-benchmaxing)。

(25)网友提问: 为什么你们没有公布GPQA Diamond、τ-bench、IFBench、SWE-bench等常见基准测试的成绩?是否有什么具体原因?

腾讯混元:我们展示的是近期较为先进的基准测试结果,例如Agents’ Last Exam、ProgramBench等。你提到的那些基准测试推出的相对较早,分数已经趋于饱和。

(26)网友提问: 你们是否计划从零开始训练三值模型(Ternary Model),从而大幅提高推理服务效率?

腾讯混元:目前,我们没有从零开始训练三值模型的计划。

(27)网友提问: 你们在创意写作和内容可读性方面投入了多少关注?如果有一款模型在解释问题时,表达更加清晰、易于理解,这将是促使我放弃Qwen3.8 Flash Next、转用其他模型的重要原因之一。

腾讯混元: 我们同样认为创意写作和可读性非常重要,正在将其列为重点改进方向。 我们已经在这方面做了不少工作,但仍然有改进空间,有时候,一个好的例子胜过五段文字。

我们非常重视模型在实际使用中的表现,写作质量和可读性都是其中的重要组成部分。我们正在积极改进这两方面的能力。

(28)网友提问: 我注意到,大语言模型的写作能力有所下降。以前我会使用Claude 3.5编辑文本,但现在已经不再使用Claude 5.5。我发现,只有Gemini Pro生成的代码文档勉强符合要求。Qwen3.6的写作能力也比Qwen3.8更好。这种现象是因为大模型越来越偏重代码训练,还是由于过拟合,或者其他原因?

腾讯混元: 我们也注意到了这一现象。我们认为,这可能与模型的训练目标有关。

我们希望自己的模型能够写得更像人类,表达更加自然,而不是千篇一律、充满模板感。我们正在努力改善这一问题,敬请期待。

三、仍会坚持开源,单一榜单并不能决定模型能力

(29)网友提问: 腾讯会继续保持开源,还是像Meta一样转向闭源?如果腾讯未来研发出了AGI,或者能力最强的AI模型,还会选择开源吗?

腾讯混元:就目前而言,是的,我们会继续保持开源。

(30)网友提问: Artificial Analysis榜单对美国闭源模型存在明显偏向,这在多大程度上损害了腾讯Hy以及其他中国前沿模型实验室的商业利益?

腾讯混元:单一网站并不能真正决定一款模型在现实世界中的采用情况。我们会参考各种不同的评测,包括内部基准测试、公开评测、第三方评测,以及真实用户反馈。

要真正判断一款模型的表现,需要看完整的评价结果。归根结底,这才是用户真正关心的。

(31)网友提问: 除了通过研究论文交流,你们是否也会与其他开源大模型实验室交流沟通?

腾讯混元: 我们在积极向开放的大模型社区学习,也希望将自己的更多研究成果回馈给社区。

(32)网友提问: 你们团队在日常工作中是如何使用大语言模型的?使用的是开源模型、腾讯自己的内部模型,还是其他闭源模型?

腾讯混元:我们会使用优秀的模型,无论它们是否开源。当然,Hy系列模型也在内部被广泛使用。

(33)网友提问: 腾讯是否计划推出针对不同硬件配置的量化版本,或者参与支持低显存部署的项目,让Hy4也能在显存有限的设备上运行?另外,你们是否也感受到需要像Kimi一样,限制或移除模型网络安全能力的压力?

腾讯混元:我们正在推进Hy4对Strata的适配,相关支持很快就会上线。我们为了负责任地开源,对模型的部分网络安全能力进行了限制。我们认为,这样做是有必要的。

(34)网友提问: EXL3量化对于配置较低的硬件进行本地推理非常有帮助。腾讯是否计划支持这种量化格式?

腾讯混元:目前,我们没有适配EXL3版本的官方计划。不过,鉴于模型权重已经开放,我们相信开源社区很快就会陆续推出相应版本。

(35)网友提问: 我刚开始了解这款模型,还没有尝试使用。请问它的参数规模以及内存、显存要求是多少?

腾讯混元:你可以在M5 Max和128GB的Spark设备上运行Hy4 flash模型。

(36)网友提问: 如果最终目标是构建端侧Agent,你是否建议开发者现在就开始,在PC或Mac上运行较小的本地模型,搭建Agent Harness,并测试真实应用场景?

腾讯混元:我们建议现在就开始。我认为,本地部署始终会面临效率方面的挑战,而相关技术也会持续迭代。

(37)网友提问:腾讯未来是否会优先投入面向科学研究、特别是生物学任务的强化学习?尤其是Hy4 flash至500B参数规模之间的模型。

腾讯混元:我们正在积极投入面向科学研究的强化学习,同时也高度重视安全性。

(38)网友提问: 你认为,什么将开启人工智能的下一个时代?是模型架构上的突破、更多或更高质量的训练数据,还是其他因素?

腾讯混元: 我们始终认为,数据和评测是实现通用人工智能(AGI)最重要的工具。数据决定模型能够具备哪些能力,而评测则引导我们朝着正确的方向前进。

(39)网友提问: 现在应该如何入行,成为一名AI工程师?

腾讯混元:现在,你可以直接问AI如何开展AI工程工作,或者如何学习AI。

(40)网友提问: 如果不看模型跑分,而是根据团队技术实力、研究质量等因素,你会如何评价DeepSeek、智谱、月之暗面、阿里巴巴等其他开源模型实验室?如果一定要选出前三名,你会如何排序?

腾讯混元:我才不上这个当呢,大家都很优秀。

四、主动限制部分网络安全能力,Hy4漏洞发现能力较强,漏洞利用能力相对较弱

(41)网友提问: 通常情况下,大量安全对齐训练会导致开源模型拒绝执行基本的渗透测试、逆向工程或CTF任务。你们是如何避免模型对这些具有双重用途的编程请求过度拒答的?

腾讯混元: 在网络安全训练方面,我们侧重于防御性任务、漏洞分析与修复,同时排除涉及漏洞利用和攻击性攻击的数据。我们还会进行红队评估,以评估潜在风险。

避免过度拒答仍然是一个需要改进的重要领域。

(42)网友提问: Hy4的系统卡提到,腾讯有意筛选网络安全训练数据,仅保留与漏洞复现和修复有关的数据,移除了漏洞利用、逆向工程等进攻性训练内容,限制模型的网络安全能力,是否反而让防御人员付出了代价?

腾讯混元:根据我们的评测,Hy4的漏洞发现能力较强,而漏洞利用能力相对较弱。

(43)网友提问: 为什么要从训练数据中移除网络安全红队相关内容?这样做可能削弱模型能力,却无法带来实际的安全收益。你们是否考虑过其他替代方案?

腾讯混元:过滤这些数据是一项更基础的措施,同时还需要配合经过训练的安全防护机制,在必要时拒绝相关请求。这些都是为了实现负责任的开源。

(44)网友提问:你们是否曾使用过去发生的AI对齐失败事件,无论是腾讯自己遇到的,还是其他实验室公开披露的案例,作为模型训练数据或评测目标?

腾讯混元:这些案例只用于评测环节,以便进行跟踪和监测。

(45)网友提问: 在内部运行模型时,例如训练、评测和部署阶段,特别是在Agent任务中,你们会采取哪些网络访问控制措施?

腾讯混元:我们会使用允许列表和阻止列表。在模型评测过程中,由于已经发现前沿模型存在多种攻击方式,我们需要反复修复、调整测试环境及相关访问控制列表。

此外,我们会在整个训练和评测过程中,持续监测潜在的黑客攻击和模型对齐问题,并在发现问题时修复相关环境。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 腾讯混元Hy4正式开源:模型安全评估卡片同步发布

    今天,Hy4正式开源,可在 GitHub、 Hugging Face、ModelScope 和 AtomGit 社区下载部署。 延续负责任发布与开源的理念,我们也发布了Hy4 模型安全评估卡片(System Card),带来更全面的安全评估报告。 混元 LLM 模型已全部开源,包括Hy3 prev

    来源 AI 开发者社区
  2. 120分钟,姚顺雨携团队回答关于混元的“任何问题”

    图:腾讯首席AI科学家、混元大模型负责人姚顺雨文|晓静编辑|徐青阳11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨和团队成员,在Reddit进行了一场持续120分钟的AMA,回答全球开发者关于混元的“任何问题”。AMA是Ask Me Anything的缩写,意思是“问我任何事”。这是Reddit上很受欢迎的

    来源 腾讯网
  3. 腾讯混元Hy4开源:7700亿参数,四大社区同步上线

    腾讯混元11月20日正式开源Hy4模型,同步发布披露安全评估与已知风险的System Card。Hy4为混合专家架构多模态模型,总参数量7700亿、单Token激活约490亿参数,支持最长100万Token上下文。随着Hy4开放,Hy系列大语言模型均已开源。

    来源 凤凰科技
  4. 腾讯混元大模型全量开源:Hy4 正式开放权重,支持百万上下文

    11月20日,腾讯混元宣布Hy4大模型开源,权重同步上线GitHub、Hugging Face、ModelScope和GitCode,开发者可下载部署。此次开源使混元LLM系列实现全量开放,全部版本完成开源,涵盖Hy3preview、Hy3、Hy4preview等,形成旗舰版与高性价比版双线并进格局。

    来源 AI 产业速递
  5. 腾讯混元Hy4 Flash实测:35分钟出可玩游戏,API价压过DeepSeek

    腾讯新发布的混元Hy4 Flash模型在速度与成本上表现激进。实测显示,它能在十几分钟内完成3D场景建模、增量游戏开发及财报分析,API价格仅为竞品的一半。通过混合注意力与Engram记忆模块等技术优化,该模型在保持高智能水平的同时,将推理成本压缩至旗舰模型的二十分之一,适合处理高频日常办公任务。

    来源 AI 应用前沿
  6. 姚顺雨清华演讲:AI最稀缺的是Trust和Taste,小模型体系值得关注

    腾讯 AI 负责人姚顺雨昨天在清华做了一次分享,博主@幻觉工程师 根据搞到的分享材料,整理成了笔记如下:1. 未来一个值得关注的方向是小模型体系。AI for AI会显著推动小模型发展,因为训练小模型需要的算力更少,可以进行更多实验。未来可能先训练一个能力足够强的大模型,再通过蒸馏得到不同尺寸、分别适配不同任务的模型.

    来源 腾讯网
  7. 腾讯WorkBuddy日活破1000万,单季AI拖累利润152亿元

    WorkBuddy交出了千万日活、超5亿美元收入年化运行率的亮眼成绩单,但腾讯AI转型仍有更难的一道财务考题:高额算力投资与持续经营投入何时转化为利润? 与此同时,字节系在短视频、短剧和AI入口上的扩张不断争夺用户时长。2027年可能是投入与竞争压力集中释放的一年,2028年能否迎来现金流与资本效率改善,将决定这场转型

    来源 华尔街见闻
  8. 阿里云单季收入609.73亿增53%:吴泳铭称算力紧缺长期存在

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。 剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重

    来源 AI 行业观察
  9. 阿里云Q2收入609.73亿增53%:算力紧缺成长期现实

    另外,吴泳铭判断:算力紧张是行业中长期要面对的现实,2027至2028年国内算力供给仍存在缺口,阿里会持续补齐自研算力供给,同时通过多元化采购保障供给。吴泳铭表示,全球各个区域的算力政策出现了非常大的变化,将对阿里云的数据中心建设产生影响。根据目前的初步评估,阿里此前制定的到2032年全球数据中心规模超过20GW的目标

    来源 TechWeb
  10. 阿里云单季收入突破600亿,吴泳铭:算力紧缺是长期现实,数据中心建设目标可能下调

    另外,吴泳铭判断:算力紧张是行业中长期要面对的现实,2027至2028年国内算力供给仍存在缺口,阿里会持续补齐自研算力供给,同时通过多元化采购保障供给。吴泳铭表示,全球各个区域的算力政策出现了非常大的变化,将对阿里云的数据中心建设产生影响。根据目前的初步评估,阿里此前制定的到2032年全球数据中心规模超过20GW的目标

    来源 TechWeb
  11. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
  12. 英伟达投的AI Infra创企发模型工厂!支持数千卡集群训练万亿MoE

    智东西11月20日消息,昨日,美国AI Infra创企Prime Intellect宣布推出模型训练平台Model Factory,企业可根据平台支持的模型和算力配置,更新现成模型的全部参数,或从零训练新模型。该公司称,其底层强化学习框架prime-rl支持在千张以上GPU集群上训练万亿参数以上的MoE模型。

    来源 智东西
  13. 姚顺雨回清华姚班讲座:全球AI骨干多出同门

    11月18日,腾讯首席AI科学家姚顺雨回清华姚班做讲座。 次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。 但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。 科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他还有一个更接地气

    来源 AI 行业观察
  14. 全球算力进入“后黄仁勋时代”

    国产算力需求升温,资本从具身智能向半导体转移作者/ IT时报 毛宇编辑/ 郝俊慧 孙妍黄仁勋离开英伟达的方式,比市场预想的更突然。当地时间11月12日,黄仁勋辞去总裁、首席执行官及董事会成员职务。11月17日,他公开发表声明称,如果董事会认为他的回归符合利益,他愿意重新出任CEO;但同一天,董事会主席哈维·琼斯在20.

    来源 腾讯网
向下滚动自动加载更多