TML发布Inkling 2 Mini:27B参数,笔记本可跑Agent
长期智能体同级SOTA,其他测试仅次Qwen3.8-27B。
由米拉·穆拉蒂(Mira Murati)参与联合创办的AI独角兽Thinking Machines Lab(TML),11月21日推出混合专家模型Inkling 2 Mini。
这个模型总参数27B,激活参数3.4B;处理每个token时,有5.4B权重激活值用来应对循环。体量小、速度快,性能也不弱,笔记本电脑就能跑起来。
穆拉蒂在X上表示,Inkling 2 Mini属于循环Transformer,能直接在笔记本上跑起来。她解释说,循环机制的作用是让模型多想、少写。按现在的规模看,模型的思考过程还能被盯着;往后就不好说了。她还提到,另有一款可变循环研究模型会对外发布,供业界继续研究。

▲TML联合创始人兼CEO米拉·穆拉蒂在社交平台X上发文
内存占用方面,Inkling 2 Mini约20GB,消费级笔记本、台式AI计算机等本地设备都能运行。TML研究人员曾带着它上飞机,在MacBook Pro上离线跑,几分钟就搭出一个能玩的飞行模拟器。

DeepSWE v1.1拿到48.2%,Vals Index v2.2拿到46.5%——在100B级参数以内的开放权重模型里,Inkling 2 Mini位居前列;长期智能体编程等赛道更是拿下同级别SOTA(行业最佳),Gemma 4 31B、Muse Glimmer、
Qwen3.8-27B等模型都被它压过。长时序软件编码智能体、多行业自主Agent任务,它都擅长,速度也比性能相近的其他模型快。
不过短板也有。MultiChallenge为50.0%,ComplexConstraints v1.1为33.4%,这两项略逊色;复杂多约束指令跟随、多轮对话上,它弱于被业界称作“27B模型之王”的Qwen3.8-27B;高难度硬核推理任务,则不及规模更大的模型。

人工智能分析指数(AII)里,它排第20位,得20分,跟Qwen3.8-27B(xhigh)、Nanbeige4.3-33B水平相当,可激活参数分别少了约5倍和6倍。总体参数、有效参数两个维度,它都站在智能与规模的帕累托前沿上。
AAI得分相同的情况下,Inkling 2 Mini输出的token数比Qwen3.8-27B多约38%,计算量却只有后者的约三分之一。价格上便宜约6倍,速度快约4倍。成本按Thinking Machines第一方定价算:每百万输入/输出/缓存命中token分别为0.15美元/0.50美元/0.015美元。只是Qwen4-27B也快发布了,Inkling 2 Mini能不能顶住还不好说。

发布之后,27B这个尺寸让不少开发者很兴奋。X平台上有人这样类比:“简而言之,现在只需16GB内存即可在本地运行Sonnet 5.5。”

▲社交平台X上发文上的开发者评论
TML称,该模型是业内首批采用循环架构的模型之一。每个token进来,模型中间层要跑三次,这样用更少的token就能找到正确答案,智能体编码这类吃推理质量的任务尤其受益。
Inkling 2 Mini已经发布,权重开放,并可在Tinker上做推理和自定义。
Hugging Face地址:
https://huggingface.co/thinkingmachines/Inkling-2-Mini
模型卡地址:
https://thinkingmachines.ai/model-card/inkling-2-mini/
一、长期智能体SOTA,其他测试仅次Qwen3.8-27B
5月12日,TML曾发布交互语音模型研究版TML-Interaction-Small。这个模型能持续接收音频、视频和文本并实时思考,跟用户交流时像真人聊天一样及时给出反馈。
这次登场的Inkling 2 Mini,优势跟Inkling 2 Small相近:长期智能体工作达到同级别模型SOTA(行业最佳),官方测量的大多数任务中,它是规模相近开放权重模型里的最高分。
官方认为,Inkling 2 Mini能效与性能兼顾,适合在本地硬件上同时跑多个持久Agent。
下图里的Thinkyville,是Inkling 2 Mini做出来的像素小镇:20位村民全由同一台离线MacBook控制,他们自己排日程、闲聊八卦、办烘焙比赛,还会回复你留在他们家门口的纸条。

DeepSWE v1.1、SWE-bench Pro v2等智能体编码基准中,Inkling 2 Mini得分高过所有同类模型;其他测试里只输给Qwen3.8-27B。内核优化基准PMPP-Hard上,它的分数接近规模更大的Inkling 2 Small。
循环能提升推理能力,但权重里存不下更多事实——知识多少主要看参数总量。AA-Omniscience事实性指标上,Inkling 2 Mini跟其他同等规模模型打平。研究可变循环模型还发现:GraphWalks BFS、MRCR v2等长上下文基准,循环次数越多性能越好;AA-Omniscience、SimpleQA Verified、SimpleVQA、WorldVQA这些知识密集基准,循环次数增加并不涨分。
知识上的差距,Inkling 2 Mini靠高效使用搜索和工具来补。BrowseComp、DeepSearchQA、MCP Atlas等基准中,它在规模相近的开放权重模型里领先;包含搜索与工具使用的知识工作基准,表现同样不错。
斯坦福大学的研究者用“每焦耳智能”这个指标,衡量LLM每次查询达到给定性能需要多少能量。在NVIDIA DGX Spark上,Inkling 2 Mini拿到0.703,Qwen3.6-35B-A3B为0.430,Gemma-4-26B-A4B是0.159,Qwen3.5-27B只有0.036,差距明显。
Inkling 2 Mini也有短板。碰上多回合聊天、或者指令里约束一大堆的场景,它并不是最强的小型模型:MultiChallenge得分50.0%,ComplexConstraints v1.1得分33.4%,两项都低于Qwen3.8-27B。到了CritPt v2、HLE-Diamond这类吃推理的基准上,它的表现同样不如规模更大的模型。





二、24层、剪枝专家,业内首批采用循环架构的模型之一
Inkling 2 Mini是一个24层模型,来自主线预测扩展阶梯模型。跟市面上主流模型比,它主要动了两处:剪掉三分之二的专家节点,把模型规模压下来;再引入循环,把推理能力提上去。量化和数据混合等其余训练步骤,走的还是主流模型那套流程。
循环怎么排?24层被分成四个模块,每个模块六层。中间两个模块各跑三次,头尾两个模块各跑一次。这个设计沿用此前的循环Transformer研究:模型中间层负责更抽象的推理,首尾层更多管嵌入和内部表示转换。28次不同评估里有27次显示,让中间12层循环,比让最后12层循环带来的准确率提升更大。

模型还用了注意力残差:每一层读取前面模块的输出,学出自己的组合方式,而不是简单累加,这样循环之间能传递更丰富的信息。每次循环都从序幕(第一个模块)的输出起步;第二、第三次经过中间模块时,还会读取上一次循环里中间模块的输出,也就是“消息”。上一轮的消息经由门电路与前奏输出合并,门电路依据模块中前几层的输出对合并消息做缩放。这个门电路是在训练中学出来的:一开始把整条消息传输拦住,让每个循环的起始状态跟非循环模型一致,之后再慢慢加大消息增益,循环就这样稳稳地引进来。

循环到底有没有用?官方在扩展阶梯上拿未剪枝的循环版本和未剪枝的非循环模型做了对比。非循环模型训练计算量少7.5%,但在51.2万token的Agent追踪数据集上,要达到和循环版本相同的损失,推理计算量反而多出140%。
训练精度方面,Inkling 2 Mini用的是4位。从预训练到强化学习,所有前向传播中的专家层都跑4位NVFP4精度,并靠专用内核和NVIDIA GB300平台做硬件加速优化。最后4层的前向传播则用8位MXFP8精度。部署权重和训练数值精度保持一致:NVFP4对应20层,MXFP8对应4层,所以量化不会带来转换损失。
初始训练时,Inkling 2 Mini的参数稀疏度为48,从384位专家里选8位。训练中剪掉三分之二的专家,每层最终留下最常用的128位,目的是减少总参数、加快运行,并支持本地硬件。剪枝之后,模型用从更大的内部Inkling模型提取的1T个token训练,让剩下的专家接手被删掉那部分的工作,把剪枝前的性能找回来。
剪枝和修复完成后,Inkling 2 Mini用与Inkling 2 Small类似的数据集做SFT训练;接着是强化学习,一共处理2.2T个token,历时2000步。训练后阶段包含策略内蒸馏,用于训练对齐,做法与Inkling 2 Small相同。
三、循环模型“闷想”会更难监控吗?官方开源1-5次可变循环模型探底
监控CoT是理解和监控AI系统的关键手段之一。CoT监控之所以有效,部分要归功于标准的非循环Transformer:每个token只经过固定数量的层,输出前能做的连续计算步骤被限制住了,需要更多步骤的推理就得写进生成的文本里,读起来方便。
循环Transformer把这个限制放开了——同样的层多跑几遍。不增加参数就能加大串行深度,意味着每个token在通过CoT表达思维过程之前,内部已经做了更多计算。没写进CoT的推理,CoT监视器就抓不到,于是有人担心循环Transformer可能更难监管。
官方发布Inkling 2 Mini,原因之一就是想让社区来做循环Transformer研究,尤其希望有人去探可监控性问题、开发可解释性技术来理解循环内部的计算。Inkling 2 Mini只支持固定循环次数,为了研究不同循环次数对可监控性等属性的影响,官方另外训练了可变循环次数模型TML-d24-varloop-research。这个可变循环模型的训练循环次数在1到5次之间,已经公开在Hugging Face上。
初步分析的整体结论是:循环让模型在不需要语言表达的任务上更强了;但在目前这个规模下,没有发现推理过程的可监控性明显下降。
代理环境下的可监控性怎么量?TML用了LinuxArena这个Agent安全测试环境,专门测智能体藏恶意行为、绕监控的能力。眼下Inkling 2 Mini(包括可变循环研究版)隐蔽作恶的本事还不强,藏起来的恶意任务相对容易被监控模型逮住;检测方Qwen3.8-27B在这项任务上更厉害,几乎能认出全部这类隐藏攻击尝试。
想看更多技术细节,可以到这里: https://thinkingmachines.ai/news/inkling-2-mini/
结语:从堆参数拉向循环推理,27B赛道卷起来了
Inkling 2 Mini把开放权重小模型的竞争焦点,从堆参数拉到了循环推理上。约20GB内存就能跑持久Agent,离线隐私场景和多Agent应用的门槛又往下探了一截,循环架构也有望成为可监控性研究的新入口。
27B档在不少人眼里是Qwen3.8-27B的地盘,后者在多项测试中仍压它一头,Qwen4-27B等后续迭代也在逼近,竞争只会更激烈。TML的差异点在循环架构生态、能效和可解释性;先发的研究优势能不能变成开发者粘性,这才是关键。