腾讯Hy4 flash发布,速度大幅提升,单任务成本仅为Hy4二十分之一
本文来源:时代财经 11月16日,腾讯混元最新语言模型Hy4 flash发布,模型总参数量为224B(其中 64B Engram 参数),激活参数仅为12B,支持多模态和1M上下文长度。Hy4 flash是迄今为止最高性价比的Hy模型:每百万Token输入0.5元、输出2元,命中缓存时仅需0.02元,单任务成本仅为Hy
11月16日,腾讯混元推出最新语言模型Hy4 flash。该模型总参数量224B,其中64B为Engram参数,激活参数只有12B,支持多模态和1M上下文长度。价格方面,Hy4 flash每百万Token输入0.5元、输出2元,命中缓存时仅0.02元;单任务成本是Hy4的二十分之一,在Hy系列中性价比最高。
为了把性价比做到极致,同时兼顾智能水平与实用性,混元团队从几个环节入手。预训练阶段引入混合注意力、LatentMoE(稀疏框架)等特性,KV cache(键-值缓存)大小压到Hy4的六分之一。后训练阶段先通过自蒸馏Hy4拿到较强的综合智能水平,再用强化学习把端到端任务输出长度降低50%。评估阶段不看远离日常工作的榜单分数,而是聚焦日常工作的产物效果和单轮输出长度。推理阶段经过极致优化,Hy4 flash解码速度超过150tps,可大规模低成本部署运营。
Hy4 flash已经上线腾讯云TokenHub、WorkBuddy、元宝、企业微信、QQ、ima、Marvis等产品。11月30日前,用户能在WorkBuddy限时免费使用,腾讯云TokenHub API限时5折。