TML发布Inkling 2 Mini:27B参数,笔记本可跑Agent

资讯 智东西 全文 4779 字 · 约 12 分钟读完 配图 16 张 分类SOTAQwen3.8-27BQwen3开源智能体

长期智能体同级SOTA,其他测试仅次Qwen3.8-27B。

所属频道 智能体与 Agent开源生态
TML发布Inkling 2 Mini:27B参数,笔记本可跑Agent(配图 1)

由米拉·穆拉蒂(Mira Murati)参与联合创办的AI独角兽Thinking Machines Lab(TML),11月21日推出混合专家模型Inkling 2 Mini。

这个模型总参数27B,激活参数3.4B;处理每个token时,有5.4B权重激活值用来应对循环。体量小、速度快,性能也不弱,笔记本电脑就能跑起来。

穆拉蒂在X上表示,Inkling 2 Mini属于循环Transformer,能直接在笔记本上跑起来。她解释说,循环机制的作用是让模型多想、少写。按现在的规模看,模型的思考过程还能被盯着;往后就不好说了。她还提到,另有一款可变循环研究模型会对外发布,供业界继续研究。

27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

▲TML联合创始人兼CEO米拉·穆拉蒂在社交平台X上发文

内存占用方面,Inkling 2 Mini约20GB,消费级笔记本、台式AI计算机等本地设备都能运行。TML研究人员曾带着它上飞机,在MacBook Pro上离线跑,几分钟就搭出一个能玩的飞行模拟器。

27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

DeepSWE v1.1拿到48.2%,Vals Index v2.2拿到46.5%——在100B级参数以内的开放权重模型里,Inkling 2 Mini位居前列;长期智能体编程等赛道更是拿下同级别SOTA(行业最佳),Gemma 4 31B、Muse Glimmer、Qwen3.8-27B等模型都被它压过。长时序软件编码智能体、多行业自主Agent任务,它都擅长,速度也比性能相近的其他模型快。

不过短板也有。MultiChallenge为50.0%,ComplexConstraints v1.1为33.4%,这两项略逊色;复杂多约束指令跟随、多轮对话上,它弱于被业界称作“27B模型之王”的Qwen3.8-27B;高难度硬核推理任务,则不及规模更大的模型。

27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

人工智能分析指数(AII)里,它排第20位,得20分,跟Qwen3.8-27B(xhigh)、Nanbeige4.3-33B水平相当,可激活参数分别少了约5倍和6倍。总体参数、有效参数两个维度,它都站在智能与规模的帕累托前沿上。

AAI得分相同的情况下,Inkling 2 Mini输出的token数比Qwen3.8-27B多约38%,计算量却只有后者的约三分之一。价格上便宜约6倍,速度快约4倍。成本按Thinking Machines第一方定价算:每百万输入/输出/缓存命中token分别为0.15美元/0.50美元/0.015美元。只是Qwen4-27B也快发布了,Inkling 2 Mini能不能顶住还不好说。

27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

发布之后,27B这个尺寸让不少开发者很兴奋。X平台上有人这样类比:“简而言之,现在只需16GB内存即可在本地运行Sonnet 5.5。”27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

▲社交平台X上发文上的开发者评论

TML称,该模型是业内首批采用循环架构的模型之一。每个token进来,模型中间层要跑三次,这样用更少的token就能找到正确答案,智能体编码这类吃推理质量的任务尤其受益。

Inkling 2 Mini已经发布,权重开放,并可在Tinker上做推理和自定义。

Hugging Face地址:

https://huggingface.co/thinkingmachines/Inkling-2-Mini

模型卡地址:

https://thinkingmachines.ai/model-card/inkling-2-mini/

一、长期智能体SOTA,其他测试仅次Qwen3.8-27B

5月12日,TML曾发布交互语音模型研究版TML-Interaction-Small。这个模型能持续接收音频、视频和文本并实时思考,跟用户交流时像真人聊天一样及时给出反馈。

这次登场的Inkling 2 Mini,优势跟Inkling 2 Small相近:长期智能体工作达到同级别模型SOTA(行业最佳),官方测量的大多数任务中,它是规模相近开放权重模型里的最高分。

官方认为,Inkling 2 Mini能效与性能兼顾,适合在本地硬件上同时跑多个持久Agent。

下图里的Thinkyville,是Inkling 2 Mini做出来的像素小镇:20位村民全由同一台离线MacBook控制,他们自己排日程、闲聊八卦、办烘焙比赛,还会回复你留在他们家门口的纸条。

27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

DeepSWE v1.1、SWE-bench Pro v2等智能体编码基准中,Inkling 2 Mini得分高过所有同类模型;其他测试里只输给Qwen3.8-27B。内核优化基准PMPP-Hard上,它的分数接近规模更大的Inkling 2 Small。

循环能提升推理能力,但权重里存不下更多事实——知识多少主要看参数总量。AA-Omniscience事实性指标上,Inkling 2 Mini跟其他同等规模模型打平。研究可变循环模型还发现:GraphWalks BFS、MRCR v2等长上下文基准,循环次数越多性能越好;AA-Omniscience、SimpleQA Verified、SimpleVQA、WorldVQA这些知识密集基准,循环次数增加并不涨分。

知识上的差距,Inkling 2 Mini靠高效使用搜索和工具来补。BrowseComp、DeepSearchQA、MCP Atlas等基准中,它在规模相近的开放权重模型里领先;包含搜索与工具使用的知识工作基准,表现同样不错。

斯坦福大学的研究者用“每焦耳智能”这个指标,衡量LLM每次查询达到给定性能需要多少能量。在NVIDIA DGX Spark上,Inkling 2 Mini拿到0.703,Qwen3.6-35B-A3B为0.430,Gemma-4-26B-A4B是0.159,Qwen3.5-27B只有0.036,差距明显。

Inkling 2 Mini也有短板。碰上多回合聊天、或者指令里约束一大堆的场景,它并不是最强的小型模型:MultiChallenge得分50.0%,ComplexConstraints v1.1得分33.4%,两项都低于Qwen3.8-27B。到了CritPt v2、HLE-Diamond这类吃推理的基准上,它的表现同样不如规模更大的模型。

27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

二、24层、剪枝专家,业内首批采用循环架构的模型之一

Inkling 2 Mini是一个24层模型,来自主线预测扩展阶梯模型。跟市面上主流模型比,它主要动了两处:剪掉三分之二的专家节点,把模型规模压下来;再引入循环,把推理能力提上去。量化和数据混合等其余训练步骤,走的还是主流模型那套流程。

循环怎么排?24层被分成四个模块,每个模块六层。中间两个模块各跑三次,头尾两个模块各跑一次。这个设计沿用此前的循环Transformer研究:模型中间层负责更抽象的推理,首尾层更多管嵌入和内部表示转换。28次不同评估里有27次显示,让中间12层循环,比让最后12层循环带来的准确率提升更大。

27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

模型还用了注意力残差:每一层读取前面模块的输出,学出自己的组合方式,而不是简单累加,这样循环之间能传递更丰富的信息。每次循环都从序幕(第一个模块)的输出起步;第二、第三次经过中间模块时,还会读取上一次循环里中间模块的输出,也就是“消息”。上一轮的消息经由门电路与前奏输出合并,门电路依据模块中前几层的输出对合并消息做缩放。这个门电路是在训练中学出来的:一开始把整条消息传输拦住,让每个循环的起始状态跟非循环模型一致,之后再慢慢加大消息增益,循环就这样稳稳地引进来。

27B!穆拉蒂开源“循环脑”模型:笔记本跑Agent起飞!

循环到底有没有用?官方在扩展阶梯上拿未剪枝的循环版本和未剪枝的非循环模型做了对比。非循环模型训练计算量少7.5%,但在51.2万token的Agent追踪数据集上,要达到和循环版本相同的损失,推理计算量反而多出140%。

训练精度方面,Inkling 2 Mini用的是4位。从预训练到强化学习,所有前向传播中的专家层都跑4位NVFP4精度,并靠专用内核和NVIDIA GB300平台做硬件加速优化。最后4层的前向传播则用8位MXFP8精度。部署权重和训练数值精度保持一致:NVFP4对应20层,MXFP8对应4层,所以量化不会带来转换损失。

初始训练时,Inkling 2 Mini的参数稀疏度为48,从384位专家里选8位。训练中剪掉三分之二的专家,每层最终留下最常用的128位,目的是减少总参数、加快运行,并支持本地硬件。剪枝之后,模型用从更大的内部Inkling模型提取的1T个token训练,让剩下的专家接手被删掉那部分的工作,把剪枝前的性能找回来。

剪枝和修复完成后,Inkling 2 Mini用与Inkling 2 Small类似的数据集做SFT训练;接着是强化学习,一共处理2.2T个token,历时2000步。训练后阶段包含策略内蒸馏,用于训练对齐,做法与Inkling 2 Small相同。

三、循环模型“闷想”会更难监控吗?官方开源1-5次可变循环模型探底

监控CoT是理解和监控AI系统的关键手段之一。CoT监控之所以有效,部分要归功于标准的非循环Transformer:每个token只经过固定数量的层,输出前能做的连续计算步骤被限制住了,需要更多步骤的推理就得写进生成的文本里,读起来方便。

循环Transformer把这个限制放开了——同样的层多跑几遍。不增加参数就能加大串行深度,意味着每个token在通过CoT表达思维过程之前,内部已经做了更多计算。没写进CoT的推理,CoT监视器就抓不到,于是有人担心循环Transformer可能更难监管。

官方发布Inkling 2 Mini,原因之一就是想让社区来做循环Transformer研究,尤其希望有人去探可监控性问题、开发可解释性技术来理解循环内部的计算。Inkling 2 Mini只支持固定循环次数,为了研究不同循环次数对可监控性等属性的影响,官方另外训练了可变循环次数模型TML-d24-varloop-research。这个可变循环模型的训练循环次数在1到5次之间,已经公开在Hugging Face上。

初步分析的整体结论是:循环让模型在不需要语言表达的任务上更强了;但在目前这个规模下,没有发现推理过程的可监控性明显下降。

代理环境下的可监控性怎么量?TML用了LinuxArena这个Agent安全测试环境,专门测智能体藏恶意行为、绕监控的能力。眼下Inkling 2 Mini(包括可变循环研究版)隐蔽作恶的本事还不强,藏起来的恶意任务相对容易被监控模型逮住;检测方Qwen3.8-27B在这项任务上更厉害,几乎能认出全部这类隐藏攻击尝试。

想看更多技术细节,可以到这里: https://thinkingmachines.ai/news/inkling-2-mini/

结语:从堆参数拉向循环推理,27B赛道卷起来了

Inkling 2 Mini把开放权重小模型的竞争焦点,从堆参数拉到了循环推理上。约20GB内存就能跑持久Agent,离线隐私场景和多Agent应用的门槛又往下探了一截,循环架构也有望成为可监控性研究的新入口。

27B档在不少人眼里是Qwen3.8-27B的地盘,后者在多项测试中仍压它一头,Qwen4-27B等后续迭代也在逼近,竞争只会更激烈。TML的差异点在循环架构生态、能效和可解释性;先发的研究优势能不能变成开发者粘性,这才是关键。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 上海AI Lab开源Sage S2.1 Flash报告:320B模型四基准SOTA

    只需一个指令,Agent 就能从 12,487 张 CT 图像中,重建一个三维骨骼模型?Sage S2.1 Flash 做到了,它的答案是找出属于目标扫描序列的切片,整理好,再操作医学影像软件 3D Slicer,重建立体可见的骨骼模型。近日,上海人工智能实验室联合复旦大学、中国科学院软件研究所、中国人民大学、中国科学

    来源 腾讯网
  2. 张博开源Linger本地版Muse:个人电脑跑Agent,准确率95%

    智东西(公众号:zhidxcom)作者 | 黄菲编辑 | 江宇智东西11月20日报道,昨夜,前DeepSeek研究员、Simplex AI创始人张博(Tony Zhang)宣布开源个人Agent Linger,号称要让Agent摆脱对云端数据中心的依赖,直接运行在用户自己的电脑上。项目发布后迅速引发关注,GitHub星

    来源 腾讯网
  3. 苹果招聘曝光AI Agent计划:Siri要从动嘴变动手?

    苹果招聘信息透露,公司正开发可跨应用操作、独立规划并执行多步骤任务的 AI Agent,并强调隐私与权限管理。据彭博社报道,项目仍处早期阶段。面对已积累用户与收入的竞争对手,苹果正争夺下一代计算入口。

    来源 爱范儿
  4. 苹果押注自主式AI Agent:Siri要从动嘴变动手

    Siri 可能终于要从「动嘴」进化到「动手」了。让 Siri 查天气、设置闹钟、打开应用,早已不是什么新鲜事。但如果你现在让它安排一次出差,查好机票和酒店,再根据日历整理行程,恐怕还是得自己动手。苹果最近的一系列动作,透露了它想改变这种状况的野心。11 月中旬,苹果官网出现了两则与自主式 AI Agent 有关的招聘信

    来源 腾讯网
  5. 阿里夏温武AICon北京演讲:TaoDesign如何把设计资产变成Agent知识

    当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向

    来源 AI 行业观察
  6. OpenAI开放GPT-Live-1.1 API:实时双向对话,智能体边聊边干活

    OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交互能力,可以

    来源 AI 开发者社区
  7. OpenAI内部Agent开销曝光:研究员日均消耗2400美元

    OpenAI的研究员,现在用AI已经用到什么程度了? 人均每天调用的Agent,按API标价折算,居然能值2400美元?! 用得最猛的那10%研究员,单日使用量甚至能达到2.3万美元(约16万人民币)。 嘶……这帮研究员用起AI来,是真一点都不心疼Token啊。 OpenAI公开了最新内部Agent研究报告《Resea

    来源 AI 行业观察
  8. 苹果招兵买马做AI Agent:Muse的领跑位置还稳吗

    苹果近期密集招聘AI工程人才,重点开发多Agent协调、长周期推理和工具调用系统。Meta旗下Muse上线后迅速登上苹果应用商店免费榜第二,摩根大通看好其吸引数亿商家、拓展电商变现的潜力。苹果若将AI Agent整合进iOS,或凭借系统入口和用户规模对Muse形成直接竞争。

    来源 华尔街见闻
  9. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
  10. 豆包网页版上线Agent工作模式:八大功能覆盖PPT生成与AI搜索

    本文介绍豆包AI网页版的访问方式及2026年最新升级的Agent工作模式。该模式支持自主拆解任务、操作浏览器及生成文档。文章详细解析了PPT制作、图像生成、深度搜索等八大实用功能,并结合QuestMobile数据探讨其用户规模,为不同场景用户提供具体操作建议。

    来源 AI 应用前沿
  11. Gemini 4 翻身记:SemiAnalysis 补交道歉表,Hassabis 接梗

    曾断言 Gemini 掉队的研究机构 SemiAnalysis,在 Gemini 4 系列密集发布后向 Google 公开致歉。文章梳理 DeepMind 的组织调整、算力分配与长期研发积累,解析真实工程任务驱动的后训练如何提升编程和智能体能力。

    来源 爱范儿
  12. Gemini 4 翻身背后:SemiAnalysis 填表道歉,Hassabis 接梗回应

    Google DeepMind通过组织调整、算力重新分配和训练体系升级,在短短七周内连续推出四款Gemini 4模型。依托大规模预训练、多线并行研发和真实工程场景的强化学习训练,Gemini在编程和Agent能力上实现突破,重返行业第一梯队,此前唱衰Google的SemiAnalysis也公开致歉。

    来源 华尔街见闻
  13. 只改一处代码,谷歌 AI 智能体优化 Harness 后任务成功率提升 8 倍

    IT之家 11 月 20 日消息,谷歌研究人员当地时间 11 月 17 日最新发表的研究论文《Harnesses That Improve Themselves》(《能够自我改进的 Harness》)显示,通过让 AI 智能体逐步修改自身运行框架,并对每次修改进行验证,可以显著提高软件工程任务的完成率。 在一项 SWE

    来源 AI 行业观察
向下滚动自动加载更多