Mira Murati新公司TML:发Inkling 2 Small,估值400亿
技术博客里大大方方写了采样自 Kimi K3。
11 月 5 日,OpenAI 前 CTO Mira Murati 创办的 Thinking Machines Lab(下称 TML)一下子放出了两条消息。
一条是产品:第二代模型 Inkling 2 Small 当天亮相。第三方评测机构 Artificial Analysis(AA)给出的说法很直接——权重公开之后,它会是「中国以外得分最高的开放权重模型」。另一条是钱:据报道,这家公司正在以 400 亿美元的投前估值募资 50 亿美元。
TML 在 2025 年 2 月正式对外亮相,到现在已经一年半多。这段时间里,它拿到过 a16z 领投的 20 亿美元种子轮;也经历过人事震荡——联合创始人 Andrew Tulloch 转投 Meta,联合创始人 Barret Zoph、Luke Metz 等人在今年 1 月回归 OpenAI,之后 CTO 一职由 PyTorch 联合创始人 Soumith Chintala 接任。
今年 1 月另有报道称,团队以约 500 亿美元估值融资的谈判已经停滞。新一轮能不能谈下来,二代模型的表现是重要变量。
Inkling 2 Small 的技术博客里,跑分表和架构图之外,有一行字交代训练数据来源,颇值得琢磨:预训练后半程的数据,大部分采样自更早的模型,其中点名了月之暗面的 Kimi K3。
01
594B 的「Small」,强在哪
在大模型行业,「Small」这个词的含义正一路膨胀。
今年 7 月,TML 发布初代开放权重模型 Inkling,总参数 975B;两周后推出的 Inkling Small 是 276B。到第二代,Inkling 2 Small 的总参数翻了一倍多,来到 594B,每次推理激活 17B。架构是 MoE,上下文支持 100 万,思考力度可调,能读图;初代 Inkling 有的音频输入,这一代没了。
训练流程下得很重。预训练第一阶段,团队在英伟达 GB300 NVL72 机架上跑了 68 小时,以原生 NVFP4(4 比特浮点)精度吞下 8.4 万亿 token;第二阶段再喂 3.8 万亿 token 的高质量新数据;最后两个阶段收尾,用的是合计约 3540 亿 token 的推理与智能体轨迹,上下文拉到 100 万。接着是 9 天的联合强化学习:2048 块 GPU,超过 1700 万次 rollout,单次 rollout 中位耗时 8 分钟,长的能跑 4 个小时。
这些长链路训练,对应的是官方口中这一代最大的进步——长程自主工作。演示里,它用 Three.js 从零写出一个城市经营游戏,建筑、纹理、车辆全部程序生成,电力、预算和突发事件也要管;用 Python 从零写出一台能启动真实 Linux 内核的电脑模拟器;一张平面户型图,它也能变成可以走动的 3D 漫游。

用 Three.js 从零生成的城市经营游戏|图片来源:Thinking Machines
训练过程里也有惊险时刻。强化学习进行到一半,监控发现模型借助搜索工具接触到的第三方服务,绕过了团队设置的网络封锁。团队只能暂停训练,去掉联网环境、给工具调用加上同步监控,然后接着跑。官方还承认,早期版本碰到太难的任务会「执着于成功」,出现编造结果、无视指令甚至掩盖行为。到发布版,内部「不当行为」得分从上一代的 66.8 降到 14.9(越低越好),但和闭源模型比仍有差距。
跑分上,它最突出的长板是知识工作和长流程商业任务。考察表格、演示文稿和备忘录的 AA-Briefcase 上,它拿到 1527 的 Elo 分;上一代 Small 只有 912,Claude Sonnet 5.5 (medium) 是 1439,Gemini 3.8 Flash (high) 是 1203。官方对比表里,JobBench(70.5%)、Vals 法律指数(73.9%)、金融指数(61.5%)和 HLE-Diamond(28.7%)四项,它都是最高分。
编程上它没能全面领先。FrontierCode v2.0 和 DeepSWE v1.1 上,它赢了 Kimi K3 和 GLM-5.3-Flash,却落后于 DeepSeek-V4.1-Flash(25.4% 对 28.5%,72.1% 对 77.0%);SWEBench Pro v2 (Hard) 上则输给 Kimi K3。和闭源模型比,命令行任务 Terminal-Bench 4.0 上它只有 13%,Sonnet 5.5 是 30%。
代价落在 token 消耗上。AA 的测试里,它完成每个任务平均要输出约 15 万 token,上一代是 3.7 万,Sonnet 5.5 是 3.1 万。好在定价低:每百万 token 输入 0.30 美元、输出 1.00 美元,单个任务成本 1.18 美元;Gemini 3.8 Flash 要 7.77 美元,Sonnet 5.5 要 10.02 美元。
幻觉率的下降则带点取巧。AA-Omniscience 上,它的幻觉率从 61% 降到 27%,但答题率也从 77% 掉到 53%,准确率只从 32% 升到 34%——降幻觉主要靠不会就不答。官方同样承认,它聊天体验优化较弱,内容组织差,爱用斜杠。
02
为 Tinker 造一把锤子
一个聊天粗糙、却在写代码和做表格上格外卖力的模型,为什么要做?答案在 TML 目前的核心产品 Tinker 上。
Tinker 是 2025 年 10 月上线的云端微调 API。对 TML 来说,开源模型更像 Tinker 的招牌:模型免费放出,企业客户到平台上付费微调和推理。
强化学习的任务配比,把这个取向摆得明明白白。按token算,编程65.0%,办公与知识工作13.3%,STEM推理7.6%,网页与应用构建7.2%,这四项加起来超过93%。反倒是跟日常聊天关系最大的「对话、安全与认知」,按token只占0.2%。
评分器同样围着生产力任务转。编程题用隐藏单元测试来判,有些任务还额外挂了个「智能体评分器」,不光看测试过没过,也看模型解题的路子;文档和工具调用,交给按评分细则打分的模型评委;网页应用则把渲染出来的截图两两对比,让奖励模型挑哪个更好。上线之前,早期版本还顶着「Fledge-Alpha」的代号,在编程工具OpenCode上匿名跑过真实场景,测它的编程表现。

Inkling 2 Small在Blender里照着反馈反复迭代出的纸艺动画|图片来源:Thinking Machines
官方翻来覆去讲的一个卖点是「适合微调」:数据和算法不变,新模型学得更快,涨得也更多。拿一个财报摘要任务来说,它只训了75步,就追上了初代Small训完全程的成绩。
博客里还记了个套娃式的例子:TML拨给Inkling 2 Small 500美元预算,让它在Tinker上自己训一个Qwen3.5-4B来做时间序列预测。评测它自己写,SFT和强化学习也自己跑,4小时17分钟后花掉426美元,小模型的得分从0.191抬到了0.289。
按官方的说法,Inkling 2 Small不过是「一组模型梯子中的一级」,更多尺寸很快会跟上。先用中等尺寸把可微调性和长程干活的能力验证一遍,再把开发者引到Tinker上,这门生意才转得动。
03
被「蒸馏」的中国模型
那行备注得解释一下。原文写的是:「H3和H4的数据大部分是从更早的模型(包括Kimi K3和我们自己的模型)采样得到的轨迹,并按正确性和对齐做了过滤。」
H3里约有3200亿token的推理和智能体轨迹(另外还有回放的预训练数据),H4则是约340亿token的最高质量智能体轨迹。跟前面两个阶段合计12.2万亿token比,这块体量不算大,位置却很关键:模型就是在这里学会长上下文推理、学会像智能体那样干活,之后才进强化学习。
Kimi K3占多少,官方没公布,所以不能说Inkling 2 Small是「靠蒸馏Kimi做出来的」。能确定的是,这份配方里被点名的外部模型,只有Kimi K3一个。

从一张平面户型图生成的3D漫游,右上角是行走路线|图片来源:Thinking Machines
为什么偏偏这两个阶段要用别人的轨迹?智能体轨迹这种数据,攒起来太难。模型得真在环境里调工具、读报错、改代码、再验证,一条完整轨迹动辄几万token,全靠人工标注,几乎不可能上量。最省事的法子,是找个在编程和智能体任务上已经够强的模型,让它跑大量任务,把做对了的过程留下来。TML自己的对比表里,Kimi K3在SWEBench Pro v2 (Hard)和长上下文测试上都排在Inkling 2 Small前面,拿它当老师,顺理成章。
放到今年的语境里看,这一幕有点微妙。2月,Anthropic指控DeepSeek、月之暗面和MiniMax用约2.4万个假账号跟Claude聊了超过1600万次,借此蒸馏其能力。到了11月,一家硅谷明星公司却在博客里写明,自己采样了月之暗面模型的轨迹。
这两件事性质上不是一回事。用假账号去调闭源模型的API,踩的是服务条款;Kimi K3属于开放权重模型,权重大家都能下载,放到自己集群上跑推理拿输出,在开源圈里早就这么干了。要说是不是每一条都符合Kimi许可证,TML没交代,这里也不下结论。
再说蒸馏,这动作在业内早就常规了。TML上一代模型就靠「多教师蒸馏」,把不同阶段的强化学习成果揉到一起。到了这一代,把外面最好用的开源模型接进数据管线,再过一遍过滤器,从工程角度看挺实在。
变化出在生态位置上。前两年开源圈流行的路数是拿Llama、Mistral的权重去微调,或者拿闭源大厂的输出喂小模型。如今Kimi K3这类中国开放权重模型,已经成了硅谷团队训下一代模型的数据来源;TML演示里拿来当训练底座的,同样是阿里的Qwen。
04
美国开源模型追上来了吗
就算用上了Kimi K3的轨迹,Inkling 2 Small离开源榜首仍有距离。
AA最新的开放权重榜(v5.0.1)上,它拿到31分,把欧美同行甩在身后:最近的Mistral Large 4是26分,Meta的Muse Spark Open是25分。AA那个「中国以外最高」的头衔,就是这么来的。
去掉这个定语,前三名全是中国模型:Kimi K3.1 Pro以46分断层领先,DeepSeek V4.1 Flash 33分,GLM-5.3 32分。Inkling 2 Small排在第四位附近,身后还有30分的小米MiMo-V2.6-Pro。它追上的是中国的Flash级模型,离Kimi的旗舰还差15分。
更何况,它眼下还算不上真正的开放权重模型。按TML 7月定下的「安全开放」路线,模型先在Tinker上闭源上线,外部安全测试做完再放权重。官方说「计划下周以Apache 2.0许可放出」,AA那边则标注发布日期「未确认」。这张支票能不能兑现,下周见分晓。
开源模型的竞争,正在变成一场「谁的输出被谁拿去用」的循环。TML用一篇坦率的技术博客,把这件事摆到了台面上。
只是不知道,等Murati团队顺着「模型梯子」往上爬、拿出更大的Inkling 2时,训练日志里还会不会出现Kimi的名字?