腾讯混元Hy4 flash发布:224B总参数,单任务成本降至Hy4二十分之一
腾讯Hy4 flash发布,速度大幅提升,单任务成本仅为Hy4二十分之一
11月16日,腾讯混元推出最新语言模型Hy4 flash,总参数量224B,其中包含64B Engram参数,激活参数为12B,多模态能力和1M上下文长度都支持。腾讯称这是目前性价比最高的Hy模型:每百万Token输入0.5元、输出2元,命中缓存只需0.02元,跑一个任务的成本只有Hy4的二十分之一。
性价比要拉到极致,智能水平和实用性又不能丢,混元团队在几个环节上做了调整。预训练阶段引入混合注意力、LatentMoE(稀疏框架)等特性,KV cache(键-值缓存)大小压到Hy4的六分之一。后训练阶段先靠自蒸馏Hy4拿到较强的综合智能水平,再用强化学习把端到端任务输出长度缩短50%。评估阶段盯的是日常工作的产物效果和单轮输出长度,而非那些远离日常工作的榜单分数。推理阶段经过极致优化,Hy4 flash解码速度超过150tps,能够大规模低成本部署运营。
目前Hy4 flash已经上线腾讯云TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis等产品。11 月 30 日前,WorkBuddy可限时免费使用,腾讯云TokenHub API限时5折。