26B参数循环Transformer模型Inkling 2 Mini开源,支持本地离线运行

资讯 AI 应用前沿 全文 2578 字 · 约 7 分钟读完 配图 7 张 分类Transformer模型发布开源AI 编程智能体

Thinking Machines Lab发布Inkling 2 Mini,采用循环Transformer架构,总参数26B。该模型支持文本和图像输入,可在配备32GB内存的MacBook上离线运行智能体任务,如编写代码或驱动虚拟角色。权重已按Apache 2.0许可开放,适合开发者部署本地编程助手。

所属频道 模型发布智能体与 Agent开源生态AI 编程与开发

把大模型塞进笔记本:Inkling 2 Mini 来了

就在大家还在讨论 AI 能否证明黎曼猜想时,Thinking Machines Lab(TML)扔出了一个更接地气的项目:Inkling 2 Mini。这是一个总参数量 26B 的多模态模型,最特别的地方在于它能在你的笔记本电脑上跑起来,而且不需要联网。

图片

TML 已经按照 Apache 2.0 许可公开了模型权重。这意味着开发者不仅可以下载部署,还能通过 Tinker 工具进行推理和微调。官方给出的定位很明确:展示个人电脑上的模型到底能干什么。

图片

断网也能写代码、建小镇

图片

为了证明这不是纸上谈兵,TML 的研究人员做了两个演示。第一个场景很有画面感:研究人员带着一台配备 48GB 内存的 M5 Pro MacBook Pro 登上飞机,断开网络,让 Inkling 2 Mini 在几分钟内写出了一个可玩的飞行模拟器。整个推理过程完全在本地完成,没有依赖任何云端算力。

图片

第二个演示更有趣,他们构建了一个叫 Thinkyville 的微型像素小镇。在这个小镇里,同一台离线 MacBook 上的 Inkling 2 Mini 同时驱动着 20 位村民。这些虚拟角色不是只会站桩的 NPC,他们会规划一天的生活,互相闲聊八卦,甚至举办烘焙比赛。如果你在游戏里给他们留便条,他们还会读取内容并做出回复。

图片

模型发布后,社区的反应很快。有人把它接入 DeepSeek Harness,发现推理速度飞快;还有人让它玩电子游戏,它不仅通关了,还学会了优化策略和速通。甚至生成动画 MV 这种多模态任务,它也能胜任。

图片

核心技术:循环 Transformer 与混合专家

图片

Inkling 2 Mini 之所以能在有限硬件上跑出这样的效果,核心在于它的架构设计。它没有沿用传统的线性 Transformer 结构,而是采用了循环 Transformer(looped transformer)。

什么是循环 Transformer?

普通的 Transformer 模型在生成每个 token 时,数据会依次经过一组固定的网络层,每层只计算一次。Inkling 2 Mini 则不同,它把中间的一段网络层重复利用了起来。

具体来说,这个模型共有 24 层。最前面的 6 层和最后的 6 层各运行一次,而中间的 12 层会运行三次。在后续的循环轮次中,模型还会读取上一轮传来的信息。这样一来,虽然模型只需要存储 24 层的权重,但每个 token 实际上经历了 48 次层计算(6 + 12×3 + 6 = 48)。

这种设计增加了内部计算的深度,为需要连续推导的任务提供了更多处理空间,同时控制了权重文件的体积。对于本地部署来说,这意味着你用更小的存储空间,换来了更强的推理能力。

混合专家(MoE)进一步压缩激活量

除了循环结构,Inkling 2 Mini 还采用了**混合专家(MoE)**架构。在处理每个 token 时,模型不会激活所有参数,而是只调用部分“专家”参与计算。

数据显示,模型的激活参数约为 3.4B。如果将循环中的重复计算计入,有效参数激活量约为 5.4B。这种稀疏激活机制大大降低了单次推理的计算负载,使得在消费级硬件上运行成为可能。

编程与智能体能力评测

从 TML 公布的评测数据来看,Inkling 2 Mini 的长处主要集中在智能体编程、搜索和工具使用上。

在 DeepSWE v1.1 基准测试中,它的任务解决率为 48.2%,作为对比,参数量更大的 Qwen3.8-27B 为 42.2%。在更严格的 SWE-bench Verified 测试中,Inkling 2 Mini 取得了 79.2% 的成绩,略高于 Qwen3.8-27B 的 77.8%。

这些数据表明,尽管参数量只有 26B,但在特定的编程和智能体任务上,它的表现并不逊色于一些更大规模的模型。

低精度格式优化存储

要把这样的模型塞进笔记本,权重的存储方式也很关键。Inkling 2 Mini 的专家层主要使用 NVFP4 低精度格式,最后 4 层采用 MXFP8。重要的是,它在训练阶段就使用了这些精度,并以同样的精度部署。这减少了交付时再次转换精度的环节,避免了精度损失带来的性能下降。

发布的检查点文件大小约为 20GB。官方建议的运行配置是:至少配备 32GB 内存的 Apple 芯片设备,或者其他提供至少 32GB 显存的 GPU 平台。目前,Ollama、vLLM、SGLang 等主流本地推理工具都已经支持该模型。

思维链与研究版本

循环计算还有一个值得关注的副作用:模型可以在输出文字之前,完成更多的内部处理。这就引出了一个问题:我们看到的“思维链”(Chain of Thought)在多大程度上反映了模型的真实思考过程?

为了研究这一点,TML 同步开放了一个名为 TML-d24-varloop-research 的研究版本。与固定循环三次的 Inkling 2 Mini 不同,这个版本允许在推理时动态调整循环次数。研究者可以利用它在同一组权重上比较增加计算量对结果的影响。

官方明确指出,TML-d24-varloop-research 仅用于研究目的,实际产品应用仍推荐使用标准的 Inkling 2 Mini。

能力边界与适用场景

当然,Inkling 2 Mini 也有明确的短板。根据 TML 的说明,它在多轮对话和多重约束指令上的表现仍有不足,复杂推理能力与更大参数的模型存在差距。此外,增加循环次数并不会直接扩大权重中储存的事实知识,它更多是提升推理的深度,而非知识的广度。

这次发布的意义在于,它探索了在有限权重体积下增加推理计算的路径,并把模型真正交给了开发者。对于那些希望搭建本地编程助手、或者需要长期运行离线智能体的用户来说,Inkling 2 Mini 提供了一个新的、可行的选择。

你不需要昂贵的服务器集群,只需要一台内存足够的笔记本电脑,就能拥有一个能写代码、能玩游戏的本地 AI 伙伴。这或许比那些遥不可及的数学证明,更让普通开发者感到兴奋。

感兴趣的用户可以访问 Hugging Face 获取模型权重,或通过官方博客了解更详细的技术细节。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Inkling 2 Mini 发布:循环架构让小模型本地跑出中型模型水准

    Thinking Machines Lab 推出的 Inkling 2 Mini 是一个专为本地部署设计的多模态模型。它通过独特的“循环层”架构,用约 260 亿物理参数实现了接近 48 层逻辑深度的推理能力。文章详细介绍了其技术原理、在代码生成和视觉任务上的表现,以及如何在 Transformers、llama.cp

    来源 AI 应用前沿
  2. GitHub Agentic Workflows转正:10美元默认预算够用吗?

    作者 | Mark Silvester译者 | 田橙GitHub 已宣布 GitHub Agentic Workflows 正式可用。这个开源项目可以在 GitHub Actions 中运行编码智能体,处理 Issue 分类和持续集成(CI)故障分析等代码仓库任务。智能体启动时仅拥有只读权限,其提出的任何更改都由独立作

    来源 腾讯网
  3. 张博开源Linger:零token费本地跑125B模型,12GB显卡够用

    11月19日,前DeepSeek-VL项目负责人张博在X宣布开源个人Agent Linger,开发主体是张博创办的SIMPLEX AI TECHNOLOGIES PTE. LTD.(以下简称“Simplex AI”),代码已上传GitHub。按项目文档,Linger读取本地邮件、日历和文件,操作用户已登录的浏览器;连接

    来源 腾讯网
  4. Gemini 4 翻身背后:SemiAnalysis 填表道歉,Hassabis 接梗回应

    Google DeepMind通过组织调整、算力重新分配和训练体系升级,在短短七周内连续推出四款Gemini 4模型。依托大规模预训练、多线并行研发和真实工程场景的强化学习训练,Gemini在编程和Agent能力上实现突破,重返行业第一梯队,此前唱衰Google的SemiAnalysis也公开致歉。

    来源 华尔街见闻
  5. OhanASR开源:亚美尼亚语专用ASR模型,流式版同步发布

    Metric-AI 团队发布了首个开源亚美尼亚语自动语音识别模型 OhanASR。该系列包含针对录音优化的 v0.1 版本和用于实时场景的 Streaming 版本,在 ArmBench-ASR 基准测试中表现优异。文章详细解读了模型性能数据、适用场景及当前存在的局限性,为开发者提供技术参考。

    来源 AI 应用前沿
  6. ARTEX开源:AI Agent驱动渗透测试,Planner与Worker如何分工

    ARTEX 是一个基于 LLM Agent 的自动化渗透测试平台,采用 Go 和 Next.js 构建。它通过 Planner 和 Worker 协作,自动梳理资产、生成攻击向量并记录流量。本文介绍其核心架构、部署流程及在授权测试中的实际应用,强调人工复核的重要性。

    来源 AI 应用前沿
  7. Signal默认屏蔽截图:iOS与安卓防AI读取消息

    IT之家 11 月 22 日消息,开源端到端加密聊天应用 Signal 近日推出 iOS / Android 版更新,默认关闭应用程序内截图功能,以阻止 Siri AI 和 Gemini 等 AI 智能体读取用户私人消息。 Signal 总裁 Meredith Whittaker 表示,系统级 AI 智能体的影响力正不

    来源 AI 行业观察
  8. Gemini 4 Neon发布:接入Antigravity编程解题率升至3倍多

    Carbon 向开发者开放才八天,Google 又发布了一款 Gemini 4 模型。 11 月 18 日亮相的 Gemini 4 Neon,在默认推理档追平了自家的旗舰 Carbon,开到最高档后比 high 档的 Carbon 高出 1 分,进入 Artificial Analysis 智能指数总榜前三。对于这款新

    来源 AI 行业观察
  9. Metric AI开源亚美尼亚语模型Ayb 0.5:90亿参数跻身前三

    Metric AI团队推出了Ayb 0.5系列开源语言模型,包含0.8B、4B和9B三个版本。该系列基于Qwen3.5架构,针对亚美尼亚语进行了深度适配,在ArmBench基准测试中表现优异,甚至超越了部分参数量更大的模型。Ayb 0.5不仅支持文本生成和指令遵循,还保留了完整的视觉语言能力,能够用亚美尼亚语描述图片。

    来源 AI 应用前沿
  10. METR时间视野图更新:编程任务表现突出,判断力任务仍偏弱

    METR发布其广受引用却常被误读的“时间视野图”更新版。新报告确认部分AI能力仍在指数级提升,模型能独立完成的任务时长持续延长;但报告同时揭示明显不对称——模型在编程任务上表现优异,在需要判断力的任务上却明显偏弱。这提醒业界,单一基准无法代表AI在开放式工作中的真实水平。

    来源 AI 科技快讯
  11. METR时间视野图更新:AI能力仍沿指数上涨,判断力没跟上

    METR发布其广受引用却常被误读的“时间视野图”更新版。新报告确认部分AI能力仍在指数级提升,模型能独立完成的任务时长持续延长;但报告同时揭示明显不对称——模型在编程任务上表现优异,在需要判断力的任务上却明显偏弱。这提醒业界,单一基准无法代表AI在开放式工作中的真实水平。

    来源 AI 行业观察
  12. 腾讯混元Hy4开源:7700亿参数,四大社区同步上线

    腾讯混元11月20日正式开源Hy4模型,同步发布披露安全评估与已知风险的System Card。Hy4为混合专家架构多模态模型,总参数量7700亿、单Token激活约490亿参数,支持最长100万Token上下文。随着Hy4开放,Hy系列大语言模型均已开源。

    来源 凤凰科技
  13. Kimi转向AI for Science:编程之后,下一个落点是科学研究

    一些迹象显示,Kimi 要往 AI for Science 方向发力了。近日,月之暗面(Moonshot AI)国际业务负责人贾科莫·菲卡里(Giacomo Ficari)在葡萄牙里斯本举行的网络峰会上,谈到了该公司在编程之外看好的下一个方向:科学研究。他提到,过去几年,编程是推动市场需求增长的重要场景,而生物学、化学

    来源 腾讯网
  14. 百奥几何发布GeoFlow V4:15项从头设计任务平均命中率34.6%

    11 月 19 日,百奥几何正式发布新一代药物研发引擎 GeoFlow V4。此次升级依托数据与模型的协同扩展,进一步提升结构预测、候选筛选与从头设计能力,并同步推出 GeoFlow Code 智能体式药物设计编排体系,共同支撑以成药为导向、贯通模型-分子-数据的 RSI 干湿反馈研发闭环。 GeoFlow V4 在覆

    来源 AI 行业观察
  15. 觅蜂科技:20万小时真机数据揭示三类成功样本存隐患?

    11月20日消息,觅蜂科技近日发布基于20万小时以上真机数据、2万多个任务记录及25款双臂机器人分析的研究,拆解具身Agent后训练中的数据质量问题。 研究指出,在具身模型训练中,预训练无本体数据帮助模型获得广泛视觉、语言和任务知识,后训练真机数据则进一步将能力对齐到具体机器人、任务和真实物理交互。后者容错率极低,直接

    来源 AI 行业观察
  16. OpenAI开放GPT-Live-1.1 API:实时双向对话,智能体边聊边干活

    OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交互能力,可以

    来源 AI 开发者社区
  17. MiniMax开源H3-Image:原生4K出图,Agent接管屏幕?

    本周AI圈最务实的变化是闭源能力快速开源。MiniMax开放了支持4096分辨率的H3-Image图像模型权重,Thinking Machines Lab也开源了594B参数的Inkling 2编程模型。更值得关注的是应用层突破:Pinky让Claude等Agent能直接操作iPhone和Android手机,Jane

    来源 AI 应用前沿
  18. 谷歌字节快手集体降价,AI视频进入分秒计价时代?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳AI视频行业正在靠近一个类似DeepSeek的时刻,模型能力差距收窄,价格被打到分/秒,创作者开始批量调用。11月初,谷歌把视频模型Gemini Omni 1.2 Flash转为正式版,不仅支持15秒视频生成和多轮对话式编辑等

    来源 腾讯网
  19. 米哈游发布8B参数VLA模型,自主通关崩铁50小时

    米哈游崩坏AI团队发布Gamer模型,基于Qwen3-VL-8B训练。该模型不读取游戏底层代码,仅凭屏幕画面和键鼠操作就能自主游玩《崩坏:星穹铁道》。在50小时长流程测试中,自主运行率超95%。通过稀疏思考和记忆摘要机制,解决了长任务中的延迟和遗忘问题,还能跨游戏通用操作。

    来源 AI 应用前沿
向下滚动自动加载更多