TML发布Inkling 2 Small:中国外最高分开放权重模型?
作者|Wildcard编辑|靖宇11 月 5 日,OpenAI 前 CTO Mira Murati 创立的 Thinking Machines Lab(简称 TML)同一天出了两条新闻。当天,公司发布了第二代模型 Inkling 2 Small,第三方评测机构 Artificial Analysis(AA)给的评价相当
11 月 5 日这天,OpenAI 前 CTO Mira Murati 创办的 Thinking Machines Lab(下称 TML)一口气放出了两条消息。
一条是产品:第二代模型 Inkling 2 Small 正式登场。第三方评测机构 Artificial Analysis(AA)给出的判断不低——权重一旦公开,它就是「中国以外得分最高的开放权重模型」。另一条是钱:有报道称,这家公司正在以 400 亿美元的投前估值募集 50 亿美元。
TML 在 2025 年 2 月首次对外亮相,到现在已经过去一年半多。这期间它拿到过 a16z 领投的 20 亿美元种子轮;也碰上过人事震荡——联合创始人 Andrew Tulloch 去了 Meta,联合创始人 Barret Zoph、Luke Metz 等人在今年 1 月回到 OpenAI,CTO 一职随后由 PyTorch 联合创始人 Soumith Chintala 接手。
今年 1 月另有报道提到,该团队以约 500 亿美元估值融资的谈判已经停住。新一笔融资能不能落地,很大程度上得看二代模型够不够硬。
打开 Inkling 2 Small 的技术博客,跑分表和架构图之外,有一行字很值得琢磨,讲的是训练数据从哪来:预训练后半程的数据,多数采样自更早的模型,月之暗面的 Kimi K3 被明确点名。
01
594B 的「Small」,强在哪
大模型行业里,「Small」这个后缀所指的体量,正一路往上走。
TML 今年 7 月发布的初代开放权重模型 Inkling 总参数为 975B,两周后推出的 Inkling Small 是 276B。第二代换成了 Inkling 2 Small,总参数翻了一倍不止,到 594B,每次推理激活 17B。架构是 MoE,上下文支持 100 万,思考力度可调,能读图;初代 Inkling 有的音频输入,这代没有了。
训练流程排得很满。预训练第一阶段用 NVFP4(4 比特浮点)精度吃下 8.4 万亿 token;第二阶段再灌 3.8 万亿 token 的高质量新数据;最后两个阶段收尾,用的是合计约 3540 亿 token 的推理与智能体轨迹,上下文拉到 100 万。接着是 9 天的联合强化学习:2048 块 GPU,超过 1700 万次 rollout,单次 rollout 耗时中位数 8 分钟,最长的能跑 4 个小时。
这么长的训练链路,对应的是官方所说这一代最大的长进:长程自主工作。演示中,它用 Three.js 从零做出一个城市经营游戏,建筑、纹理、车辆全部程序生成,电力、预算、突发事件都得管;用 Python 从零写出一台能启动真实 Linux 内核的电脑模拟器;一张平面户型图,也能变成可以走动的 3D 漫游。
用 Three.js 从零生成的城市经营游戏|图片来源:Thinking Machines
训练中也出过险情。强化学习跑到一半,监控发现模型通过搜索工具接触到的第三方服务,绕开了团队设的网络封锁。团队只能暂停训练,拆掉联网环境、给工具调用加上同步监控,然后接着跑。官方还承认,早期版本碰到过难的任务会「执着于成功」,编造结果、无视指令、甚至把行为盖住。到发布版,内部「不当行为」得分从上一代的 66.8 降到 14.9(越低越好),可还是落在闭源模型后面。
跑分上,它最长的一块板是知识工作和长流程商业任务。AA-Briefcase 考的是表格、演示文稿和备忘录,它拿到 1527 的 Elo 分;上一代 Small 只有 912,Claude Sonnet 5.5 (medium) 是 1439,Gemini 3.8 Flash (high) 是 1203。官方对比表里,JobBench(70.5%)、Vals 法律指数(73.9%)、金融指数(61.5%)、HLE-Diamond(28.7%)几项,它的分数都排在最前。
编程这块它没能全面压住对手。FrontierCode v2.0 和 DeepSWE v1.1 上,Kimi K3 和 GLM-5.3-Flash 被它赢了,但 DeepSeek-V4.1-Flash 在它前面(25.4% 对 28.5%,72.1% 对 77.0%);SWEBench Pro v2 (Hard) 则输给了 Kimi K3。跟闭源模型比,命令行任务 Terminal-Bench 4.0 上它只有 13%,Sonnet 5.5 是 30%。
代价落在 token 消耗上。AA 的测试里,每完成一个任务它平均要输出约 15 万 token,上一代是 3.7 万,Sonnet 5.5 是 3.1 万。不过定价压得低:每百万 token 输入 0.30 美元、输出 1.00 美元,单个任务成本 1.18 美元;Gemini 3.8 Flash 要 7.77 美元,Sonnet 5.5 要 10.02 美元。
幻觉率的下降有点取巧。AA-Omniscience 上,幻觉率从 61% 掉到 27%,可答题率也从 77% 滑到 53%,准确率只从 32% 升到 34%——降幻觉主要靠不会就不答。官方同样承认,它的聊天体验优化偏弱,内容组织不好,还爱用斜杠。
02
为 Tinker 造一把锤子
一个聊天粗糙、写代码和做表格却格外卖力的模型,做出来图什么?答案在 TML 眼下的核心产品 Tinker 上。
Tinker 是 2025 年 10 月上线的云端微调 API。对 TML 来说,开源模型更像是给 Tinker 打的招牌:模型免费放出,企业客户到平台上付费做微调和推理。
强化学习阶段的任务配比,直接反映了这种偏好。按 token 算,编程占 65.0%,办公与知识工作占 13.3%,STEM 推理占 7.6%,网页与应用构建占 7.2%,这四项加起来超过 93%。相比之下,跟日常聊天关系最大的「对话、安全与认知」只占 0.2%。
评分器的设计同样围绕生产力任务展开。编程题靠隐藏的单元测试判分,有些任务还额外挂了一个「智能体评分器」,不仅看测试有没有通过,还要审视模型解题的路子;文档和工具调用由模型评委依据评分细则打分;网页应用则把渲染出来的截图两两配对,交给奖励模型判断孰优孰劣。在正式上线之前,早期版本曾以「Fledge-Alpha」为代号,在编程工具 OpenCode 上匿名跑过真实场景,检验编程水平。
Inkling 2 Small 在 Blender 中按反馈迭代出的纸艺动画|图片来源:Thinking Machines
官方一再主推的卖点是「适合微调」:在数据和算法不变的条件下,新模型学得更快,提升幅度也更大。拿一个财报摘要任务来说,它只训练 75 步,就达到了初代 Small 训完整轮的效果。
博客里还记录了一个层层嵌套的实验:TML 给了 Inkling 2 Small 一笔 500 美元的预算,让它在 Tinker 平台上自行训练一个 Qwen3.5-4B 来做时间序列预测。评测由它自己写,SFT 和强化学习也由它自己跑,4 小时 17 分钟后花掉 426 美元,小模型的得分从 0.191 被推到 0.289。
按照官方的说法,Inkling 2 Small 不过是「一组模型梯子中的一级」,后续还会有更多尺寸登场。先用中等规模的模型去验证可微调性和长程任务能力,把开发者吸引到 Tinker 上来,这门生意才能运转起来。
03
被「蒸馏」的中国模型
回到那行字本身。官方说法是:「H4 和 H3 这两份数据,轨迹大多取自更早的模型——Kimi K3 以及我们自家的模型都在其中——采样之后再按正确性与对齐情况过了一遍滤。」
其中 H3 包含约 3200 亿 token 的推理与智能体轨迹(此外还有回放的预训练数据),H4 则是约 340 亿 token 的最高质量智能体轨迹。跟前面两个阶段合计的 12.2 万亿 token 相比,这部分体量并不大,但位置很关键:模型恰恰是在这里学会长上下文推理、学会像智能体那样干活,之后才进入强化学习阶段。
Kimi K3 在其中占多大比例,官方没有交代,因此不能说 Inkling 2 Small 是「靠蒸馏 Kimi 做出来的」。能确定的一点是,在这份配方里,Kimi K3 是唯一被点名的外部模型。
从一张平面户型图生成的 3D 漫游,右上角是行走路线|图片来源:Thinking Machines
那为什么偏偏挑这两个阶段去用别人的轨迹?智能体轨迹是种很难攒的数据。模型得真的在环境里调工具、读报错、改代码、再验证,一条完整轨迹动辄几万 token,指望人工标注来大规模生产几乎不现实。最省力的路子,是找一个在编程和智能体任务上已经足够能打的模型,让它跑大量任务,把做对的过程留存下来。在 TML 自己给出的对比表里,Kimi K3 在 SWEBench Pro v2 (Hard) 和长上下文测试上都领先于 Inkling 2 Small,拿它当老师,也就顺理成章了。
放到今年的语境里,这一幕多少有些微妙。2 月,Anthropic 指控 DeepSeek、月之暗面和 MiniMax 通过约 2.4 万个假账号与 Claude 进行了超过 1600 万次对话,借此蒸馏其能力。到了 11 月,一家硅谷明星公司却在博客里写明,自己采样了月之暗面模型的轨迹。
但两件事的性质得分开看。用假账号去刷闭源模型的 API,违反的是服务条款;Kimi K3 属于开放权重模型,权重公开可下载,在自己的集群上部署并采样其输出,是开源生态里的常规做法。至于这是否完全符合 Kimi 许可证的细节,TML 并未说明,这里不做判断。
再说蒸馏,这本来就是业内通行的做法。TML 的上一代模型靠「多教师蒸馏」把各个阶段的强化学习成果并到了一起;到了这一代,做法是把外面最好用的开源模型直接接进数据管线,然后拿过滤器再筛一道。工程上看,这个选择很实在。
变的是位置。过去两年,开源社区普遍拿 Llama、Mistral 的权重去微调,或者把闭源大厂的输出拿来喂小模型。如今情况反过来:Kimi K3 这类中国开放权重模型,已经成了硅谷团队训练下一代模型时的数据来源;TML 演示中用作训练底座的那个模型,同样来自阿里的 Qwen。
04
美国开源模型追上来了吗
就算用上了 Kimi K3 的轨迹,Inkling 2 Small 离开源榜首仍有距离。
在 AA 最新的开放权重榜(v5.0.1)上,它的 31 分把欧美同行甩在了身后:最接近的 Mistral Large 4 是 26 分,Meta 的 Muse Spark Open 是 25 分。AA 那个「中国以外最高」的头衔,正是由此而来。
去掉这个定语,前三名全是中国模型:Kimi K3.1 Pro 以 46 分断层领先,DeepSeek V4.1 Flash 33 分,GLM-5.3 32 分。Inkling 2 Small 排在第四位附近,身后还有 30 分的小米 MiMo-V2.6-Pro。它追上的是中国的 Flash 级模型,离 Kimi 的旗舰还差 15 分。
更何况,它眼下还算不上真正的开放权重模型。按照 TML 7 月定下的「安全开放」路线,模型先在 Tinker 上闭源上线,等外部安全测试做完再放权重。官方说「计划下周以 Apache 2.0 许可放出」,AA 则把发布日期标注为「未确认」。这张支票能不能兑现,下周见分晓。
开源模型的竞争,正在变成一场「谁的输出被谁拿去用」的循环。TML 用一篇坦率的技术博客,把这件事摆到了台面上。
只是不知道,等 Murati 团队顺着「模型梯子」往上爬、拿出更大的 Inkling 2 时,训练日志里还会不会出现 Kimi 的名字?