Thinking Machines推Inkling 2 Small:定制训练开放,估值冲2600亿
智东西(公众号:zhidxcom)作者 | 孙小雯编辑 | 程茜智东西11月6日消息,今日,前OpenAI首席技术官米拉·穆拉蒂创办的美国AI创企Thinking Machines Lab发布通用多模态模型Inkling 2 Small,并将于下周开放权重。该模型重点改善定制训练表现,支持开发者用自己的数据进一步训练,
孙小雯写稿,程茜做的编辑。
11月6日,米拉·穆拉蒂旗下的美国AI创业公司Thinking Machines Lab推出一款通用多模态模型,取名Inkling 2 Small,权重定在下周放开。按这家公司的说法,该模型把力气主要花在定制训练上——开发者能拿自己的数据接着训,也能自己调工具去微调别的模型。米拉·穆拉蒂此前担任OpenAI首席技术官。
▲Thinking Machines官方公告(图源:X)
第三方评测机构Artificial Analysis(AA)的智能指数给了它31分,上一代Inkling-Small只有13分。照眼下这份榜单,等新模型把权重放出来,它就会排在中国以外开放权重模型的第一位。
▲AA表示,以当前排名看,Inkling 2 Small开放权重后,会成为中国以外研发的开放权重模型中智能指数最高的一款(图源:Artificial Analysis)
据Thinking Machines Lab介绍,Inkling 2 Small打头阵,属于第二代模型系列。架构走的是混合专家(MoE)路线:总参数5940亿,每个Token激活170亿,能读文字和图像、只输出文字,思考投入的深浅可以调。预训练环节做了改进,又上了统一强化学习,模型在智能体编程、视觉、知识工作、推理这几类任务上的表现因此往上走,长时间自主执行任务则是重点支持的方向。
定制训练这块,该公司照着客户需求试了多种后训练场景。拿公开财报电话会议数据搭出来的投资分析任务就是一例:Inkling 2 Small做强化学习微调,75步就追上前代Inkling-Small训练200步后的水平,最后的总成绩也压过前代。
▲投资分析任务中,各模型的表现随训练步数和估算训练费用的变化(图源:Thinking Machines Lab)
训练和调试的活,新模型同样干得了。官方案例里,Inkling 2 Small自己写评测、备数据、比对训练方案、改错,用4小时17分钟、426美元(约合人民币2861元)把Qwen3.5-4B微调完。该公司称,训完的Qwen3.5-4B在未见数据上的预测误差,比基座低了约15%。
▲Inkling 2 Small微调Qwen3.5-4B的过程截图,显示运行至1小时39分钟时的第二次监督微调方案测试结果(图源:Thinking Machines Lab)
Thinking Machines Lab在2025年2月对外亮相,做的是给开发者提供可定制模型和后训练工具。开发者用该公司的模型后训练平台Tinker,拿自己的数据和评价标准训模型,底层分布式训练设施不用自己管。
公司联合创始人、CEO米拉·穆拉蒂在OpenAI干了逾6年,职务是首席技术官。那段时间她管研究、产品与安全,ChatGPT、GPT-4、DALL·E等项目的开发与发布都由她领导。
▲Thinking Machines Lab联合创始人、CEO米拉·穆拉蒂(图源:达特茅斯学院)
Business Insider今日报道,该公司正谈一轮50亿美元融资(约合人民币336亿元),由Accel领投,拟议投前估值400亿美元(约合人民币2687亿元)。
更早的投资方里有a16z、英伟达等机构。今年3月10日,英伟达、、Accel、思科等参与。
现在开发者可以自己调用、微调Inkling 2 Small,也能到Tinker Playground里试。
价格上,采样服务每百万非缓存输入Token收0.30美元(约合人民币2.02元),每百万输出Token收1美元(约合人民币6.72元);64K、256K上下文窗口的训练费用分别是每百万Token 1.50美元(约合人民币10.08元)和3美元(约合人民币20.15元)。
该公司打算先做完外部安全测试和红队测试,下周再以Apache 2.0许可证把完整权重放开,到时候用户还能下载在Tinker上训出来的检查点。
一、AA智能指数升至31分,覆盖编程、金融与视觉任务
前面提过,Inkling 2 Small在AA智能指数上拿到31分,比前代Inkling-Small的13分多出18分。这个指数把知识工作、编程、科学和通用能力放在一起衡量;截至11月6日,开放权重模型里分数最高的是Kimi K3.1 Pro,46分。
规模也比前代大了一圈。据Thinking Machines Lab透露,前代Inkling-Small总参数2760亿,每个Token激活120亿;新模型Inkling 2 Small总参数5940亿,每个Token激活170亿。
编程上,按该公司汇总的第三方评测结果,新模型在软件工程测试FrontierCode v2.0中拿到25.4%,高过GLM-5.3-Flash的14.2%,低于DeepSeek-V4.1-Flash-1017的28.5%。金融任务上,新模型在金融智能体评测Finance Agent v2.1中取得67.5%,高于DeepSeek-V4.1-Flash-1017的62.9%。
▲Inkling 2 Small与其他模型在编程及自动化研究任务中的成绩对比(图源:Thinking Machines Lab)
视觉上,据该公司公布的评测结果,新模型在图像理解测试MMMU Pro(Standard 10)中取得81.6%,比DeepSeek-V4.1-Flash-1017的80.6%略高。它还会回头看自己生成的页面或场景,照着视觉反馈接着改代码。
▲Inkling 2 Small与其他模型在视觉理解、界面定位及视觉创作等评测中的成绩对比(图源:Thinking Machines Lab)
网站生成能力方面,DesignArena评测的11月5日榜单显示,Inkling 2 Small拿到1340分,超过GPT-6 Astra(max)的1333分,不敌Muse Wonder(max)的1366分。该榜单部分模型的成绩见上图(图源:Thinking Machines Lab)。
视觉创作上,该公司拿出城市模拟器、Linux个人电脑模拟器、折纸场景和户型漫游四个案例,覆盖交互式应用开发、系统模拟与三维场景制作。城市模拟器允许用户扩建城市、管理供电和预算;户型漫游则依据平面图生成三维演示。
城市模拟器先铺道路、划地块,再逐步长出住宅和高层建筑。演示里,零散建筑扩成完整街区,城市还有昼夜更替,入夜后建筑与道路亮灯。建设工具和城市管理面板分列界面两侧,用户扩建的同时能查看人口、供电、预算等信息。
▲Inkling 2 Small编程构建的城市模拟器,展示道路建设、街区扩张及昼夜变化(视频来源:Thinking Machines Lab)
户型漫游把平面图变成能走进去的三维空间。演示以第一人称视角依次穿过客厅、书房、厨房等房间,室内摆着沙发、书架和绿植。右上角平面图同步标出当前位置和朝向,方便对照房间布局(视频来源:Thinking Machines Lab)。
二、金融任务75步追平前代,4小时17分钟完成Qwen微调
Thinking Machines Lab公布的定制训练实验显示,一项投资分析任务中,Inkling 2 Small训练75步就追平前代Inkling-Small训练200步的水平,最终成绩还高于前代。该任务用的是公开财报电话会议数据,考察模型接受针对性训练后的分析表现。各模型数据、算法相同,均通过Tinker训练200步,并各自搜索学习率;Inkling系列用3个随机种子实验,结果取平均值。
训练与调试类任务新模型也能接。美国AI数据创企Proximal为该公司构建的一项内部任务中,Inkling 2 Small要微调Qwen3.5-4B,让后者预测天气、维基百科页面浏览量等时间序列。
该公司公布的演示显示,任务限时12小时,Tinker费用预算500美元(约合人民币3358元)。模型实际用4小时17分钟、花426美元(约合人民币2861元)完成。据该公司称,微调后的Qwen3.5-4B在未参与训练的8-9月数据上,预测误差比基座降低约15%。
执行过程中,Inkling 2 Small先写评测、整理训练样本,发现8次预测用了相同随机种子后修正了设置。接着它对比监督微调(SFT)与强化学习(RL)两条路线。RL尝试让预测变得过度自信、成绩下滑,模型遂停掉该方案,补充近期数据继续SFT,最后提交SFT检查点。
▲Inkling 2 Small微调Qwen3.5-4B的过程截图,显示运行至1小时39分钟时的第二次监督微调方案测试结果(图源:Thinking Machines Lab)
GPU算子优化属于另一类研发任务。该公司公布的结果显示,Inkling 2 Small把DeepSeek-V3.2稀疏注意力前向、反向算子的速度提到原始实现的6.02倍,高于DeepSeek-V4.1-Flash的5.66倍,低于Claude Opus 5.5的18.80倍。测试跑在B300 GPU上。作为对照的原版算子代码并未针对B300专门优化,6.02倍指的是优化后算子代码相对原版的运行速度。
▲不同模型优化DeepSeek-V3.2稀疏注意力算子的过程与结果,纵轴为相较原版算子代码的加速倍数(图源:Thinking Machines Lab)
三、统一强化学习训练9天,增加行为约束与执行监控
训练方法上,Thinking Machines Lab透露,先以多阶段训练积累模型的通用能力,再用统一强化学习让模型完成多步骤任务,其中有两个重点:
1、分阶段加入高质量数据与任务执行记录
初始预训练消耗8.4万亿Token,在英伟达GB300 NVL72机架上跑68小时,训练原生采用NVFP4低精度浮点格式。
后续阶段又用了3.8万亿Token质量更高、时效性更强的数据,并加入推理与智能体执行轨迹。部分轨迹采样自Kimi K3和该公司此前模型,经正确性与对齐筛选后投入训练。
2、将推理与智能体任务放入同一轮强化学习
前代Inkling把推理与智能体能力分开训练,再用多教师蒸馏合并。这次换成统一强化学习,动用2048张GPU训练9天,完成1075步,产出超过1700万条轨迹。
▲Inkling 2 Small统一强化学习的计算量、GPU数量、训练时长及轨迹规模(图源:Thinking Machines Lab)
编程、文档、视觉、工具使用、科学问答,这些领域都纳入了训练任务范围。代码任务以隐藏测试和程序检查为主来评分;文档和工具使用则靠评分规则加上大模型裁判;网页应用比的是渲染截图。
为了撑住长任务,训练用了256K上下文,还加了上下文压缩。单条轨迹耗时的中位数是8分钟,第99百分位达到4小时。研发团队另外在奖励里加了一项长度惩罚,目的是让模型在思考投入和执行效率之间找到平衡。
▲Inkling 2 Small强化学习的训练参数,包括上下文窗口、单条执行轨迹的Token用量及执行时长(图源:Thinking Machines Lab)
行为约束上,Thinking Machines Lab从训练和执行监控两头下手,减少模型编造结果、无视指令这类行为。按照该公司公布的内部评测,新模型的不当行为指标是14.9,前代Inkling-Small为75.2,GPT-6.1 Sol则是0.8——新模型低于前者,仍高于后者。
▲Inkling 2 Small与其他模型在行为对齐相关评测中的成绩,表中各项指标均为数值越低越好(图源:Thinking Machines Lab)
训练环节,该公司把带不当行为的轨迹过滤掉,强化学习中对违规操作施以惩罚,模型主动放弃完成不了的任务则会得到奖励。教师模型那边,公司提供了行为规范提示,再借同策略自蒸馏来训练新模型。
执行监控则分两步:工具调用之前先核查操作是否在任务授权范围内,已完成的操作记录也要审查。据该公司披露,有一次训练中,异步监控器发现模型借助搜索工具能访问的第三方服务,绕开了网络阻断。研发团队当即暂停训练,加固设施,把需要联网的环境移走,并在工具调用前加上同步监控,之后恢复训练,继续做对齐训练。
结语:通用模型持续升级,模型厂商与云平台争夺定制模型训练业务
Inkling 2 Small不光通用能力上去了,接受定制训练的表现也有改善。Thinking Machines Lab通过Tinker提供这个模型,开发者可以拿自己的业务数据和评价标准接着训练,模型执行微调实验的过程也一并做了展示。
模型定制这块,参与的企业已有好几类。3月17日,法国大模型公司Mistral AI推出企业训练系统Forge,内部文档、代码和业务记录都能拿来训练模型;2月17日,美国云服务商AWS把Amazon Bedrock的强化学习微调扩展到了部分Qwen和GPT-OSS模型上。
企业客户要的不只是通用模型,还要模型能适应自家的术语、流程和任务要求。厂商争的正是这些需求背后的生意:模型调用、定制训练、评测、部署。Thinking Machines Lab这回把模型和训练能力一起升级,说到底是在为企业订单多攒一点筹码。