Kimi K4被曝5.4万亿参数,K3.5最快明年初登场
智猩猩AI整理 编辑:林夕 Kimi K3.1 Pro 发布还不到一个月,月之暗面的下一代模型已经传出了新消息。 近日,社区流传的一份路线图显示,Kimi K4 的总参....
算下来,Kimi K3.1 Pro 发布还不到一个月。
最近社区里流传出一份路线图,指向Kimi K4。
网传的时间表是:K4 最快2027年第二季度登场,慢一点则落在第三季度。
排在它前头的,是K3 Flash。
K4 的风声7月就有了。
不过当时只提到有这么个东西,参数规模多大、什么时候发,都没有说法。
这回传出的数字是5.4 万亿。拿官方披露的 2.8 万亿当基数算,K4 总参数会是 K3 的 1.93 倍。
数字要是坐实,国产旗舰模型也就站上5 万亿参数这一档了。
于是,K4 被不少人拿去和 Anthropic 的 Claude Mythos 对比。
有外界的估算认为,这两款模型的参数都在 5 万亿以上,不过 Anthropic 并没有公布过具体数字。
至于 K4 究竟如何,还得等模型正式发布,才能做更具体的比较:
同一项长程编程任务里,它能不能自己看懂代码库、一遍遍调用工具、把测试跑完,最终拿出能用的结果?
这轮爆料也提到了训练算力。X 上有帖子说,K4 用的可能是 H100 集群。
K4 之前,用户最快能摸到的或许是 K3 Flash。按报道说法,这款轻量版最快今年年底就会推出,有望接替 Kimi K2.8,与
K3 Flash
再往后是 K3.5,亮相时间可能在 2027 年第一季度、春节前后,总参数保持在 3 万亿级。
爆料里还出现了另一个数字:10 万亿 Token。
和这个数字一起传开的,还有自蒸馏。
X 上有说法称,K3.5 的目标之一,是靠更少的思考 Token 干完同样的活。
以编程 Agent 为例,修一个复杂 Bug,常常得反反复复读文件、改代码、跑测试。
模型在每一轮推理中若能少吐一些 Token,整个任务的用量或许也会随之下降。
月之暗面的 K3.1 Pro。
按照官方技术博客的说法,该模型在 K3 基础上新增了
官方给出的数据是:每生成一个 Token 激活 1040 亿参数,上下文支持 100 万 Token。
倘若 K4 沿用
放到长程任务中,模型最后生成多少 Token,同样关系到单次调用的耗时与成本。
要是 K3.5 真如传闻那样赶在 K4 之前登场,到时不妨先做一次实测:
挑同一项需要多轮修改和验证的编程任务,看 K3.5 能否以更少的 Token,给出比 K3.1 Pro 更靠谱的结果。
至于 K4 能不能追上 Mythos,