Inkling 2 Mini 发布:循环架构让小模型本地跑出中型模型水准

资讯 AI 应用前沿 全文 6359 字 · 约 16 分钟读完 配图 1 张 分类LlamaMeta模型发布大模型AI 编程

Thinking Machines Lab 推出的 Inkling 2 Mini 是一个专为本地部署设计的多模态模型。它通过独特的“循环层”架构,用约 260 亿物理参数实现了接近 48 层逻辑深度的推理能力。文章详细介绍了其技术原理、在代码生成和视觉任务上的表现,以及如何在 Transformers、llama.cp

所属频道 大厂动态模型发布开源生态AI 编程与开发

为什么关注 Inkling 2 Mini

在本地跑大语言模型,长久以来都得二选一:小模型速度快,可脑子不够使;大模型聪明,显存却直接撑爆。Thinking Machines Lab 新出的 Inkling 2 Mini,想在这个夹缝里找条路。

这是一款面向本地硬件做优化的多模态混合专家(MoE)模型,物理参数量约 260 亿,可每处理一个 token,只有约 30 亿参数被激活。它还用了“循环访问”中间层的办法,让模型在逻辑上表现得像层数多得多的庞大网络。实测下来,它至少能跟 Qwen 2.5-32B、Qwen 3.8-27B 这类中型模型过招,部分编码基准上还占先。

想在个人电脑、工作站乃至高端笔记本上跑高质量 AI 助手的开发者,可以把它列入候选。文本之外它还能读图,Transformers、llama.cpp、SGLang 和 Apple MLX 这些主流推理后端都已适配。

核心架构:把层数“循环”起来

Inkling 2 Mini 的思路有点反直觉。一般会觉得模型越深、层数越多,理解力越强,计算开销也越大。它的做法是:物理上只留 24 个解码器层,让中间那 12 层被反复走三遍。

数据先过前 6 层,随后进入第 7 到第 18 层构成的核心循环区,这个区连续执行三次,最后再走完剩下的 6 层出结果。物理权重虽然共享,每次循环却不是简单重复——模型加了一套跨传递的“消息机制”(cross-pass messages)。

第二、第三次经过核心层时,每层除了拿到当前输入,还会读上一次循环留下的“消息”,里面装着此前计算的关键信息。靠一个小型门控控制器,模型自己决定当前输入留多少、历史消息融多少。物理层数有限,推理深度和信息精炼却能往上走。

作为 MoE 模型,它每层有 128 个专家网络,每个 token 只路由到其中 8 个。稀疏激活把计算量压了下来,消费级显卡上也能跑得很快。

还有一个实验性的变体TML-d24-varloop-research被一同发布。这个版本允许用户动态调整循环次数。把默认的 3 次改成 1 次或 2 次,推理速度会明显提升,复杂任务上的回答质量则可能略降。对延迟敏感的应用,多了一个可调的权衡手段。

性能表现:不只是跑分好看

在 Artificial Analysis Intelligence Index v5 (AAv5) 基准测试里,Inkling 2 Mini 在同尺寸模型中领先。跟 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 对比,48 项基准测试中有 32 项它拿了最高分。

编码与代理能力

对开发者来说,最实用的或许是代码生成。FrontierCode v2.0 基准上它排第一;Terminal-Bench 4.0 上与 Qwen3.8-27B 持平。AutomationBench-AA 这类高度自动化任务上它比 Qwen 稍弱,但作为本地编程助手,表现已经够亮眼。

视觉与创意生成

写代码之外,视觉理解和生成也下了功夫。团队做了几组“Vibe Tests”(氛围测试):

  1. WebGL 着色器生成:给模型一个提示词,要求生成日落场景,含程序化山脉、体积云和水面反射,且必须是单文件 HTML,不得引用外部图片或库。Inkling 2 Mini 写出了复杂的 WebGL 片段着色器代码,浏览器里流畅渲染出电影级飞行视角动画。

  2. 《星月夜》复活:把梵高的《星月夜》给它看,要求用代码重现并让画“动”起来。模型没有直接贴图,而是用 WebGL2 着色器从头画漩涡状天空、闪烁星星和摇曳柏树。经过 24 轮自我截图检查和修正,最终动画在 M4 Max 芯片上以 1080p/60fps 流畅运行。

  3. 草图变应用:拍一张手绘 App 线框图(比如旅行费用分摊应用)丢给模型,它能认出图中标签、按钮和备注,直接生成功能完整的单页 HTML 应用,费用计算逻辑和本地存储功能都在。独立测试中,所有功能检查一次通过。

这几个案例说明,它做的不是单纯补全代码,而是理解视觉意图和逻辑结构。

如何在你自己的设备上运行

不用等云端 API,现在就能在本地跑起来。下面是几种主流方式的操作指南。

1. 使用 Hugging Face Transformers

最常规的路子是用 Hugging Face Transformers,Python 开发者用起来顺手,前提是先把最新版装上。transformers 库。

import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "thinkingmachines/Inkling-2-Mini"
# 加载处理器和模型
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,  # 建议使用 bfloat16 以节省显存
    device_map="auto"            # 自动分配设备
)
# 准备对话消息
messages = [{"role": "user", "content": [{"type": "text", "text": "为什么天空是蓝色的?"}]}]
# 应用聊天模板并 tokenize
inputs = processor.apply_chat_template(
    messages, 
    tokenize=True, 
    add_generation_prompt=True, 
    return_dict=True, 
    return_tensors="pt"
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
# 生成回答
outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))

想试研究版、自己调循环次数的话,改一下模型名就行。model_id加载的时候把配置一并传进去:

model_id = "thinkingmachines/TML-d24-varloop-research"
model = AutoModelForMultimodalLM.from_pretrained(
    model_id,
    text_config={"loop_num_passes": 2},  # 设置为 2 次循环,速度更快
)

图片输入怎么处理

只需修改 messages 结构即可:

messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "/path/to/your/image.jpg"},
            {"type": "text", "text": "这张图里有什么?"},
        ],
    }
]

推理投入程度怎么调

Inkling 2 Mini 靠一个参数来决定模型想多深。reasoning_effort这个参数默认取high也就是 0.9。简单问题想快一点,可以压到low即 0.2;碰上复杂逻辑再拉到max0.99。

inputs = processor.apply_chat_template(
    messages, 
    reasoning_effort="medium",  # 中等努力程度
    tokenize=True, 
    add_generation_prompt=True, 
    return_dict=True, 
    return_tensors="pt"
).to(model.device)

工具调用怎么写

函数调用是模型自带的能力,下面拿查天气做个示范:

def get_current_temperature(location: str, unit: str):
    # 这里应该调用真实的天气 API,演示中返回固定值
    return 22.0
# 定义工具
tools = [get_current_temperature]
# 第一轮:模型决定调用工具
inputs = processor.apply_chat_template(
    messages, 
    tools=tools, 
    reasoning_effort="low", 
    tokenize=True, 
    return_dict=True, 
    return_tensors="pt"
).to(model.device)
output = model.generate(**inputs, max_new_tokens=1024)
parsed = processor.parse_response(output, prefix=inputs["input_ids"][0])
# 解析出工具调用参数
if "tool_calls" in parsed:
    call = parsed["tool_calls"][0]["function"]
    print(f"模型请求调用: {call['name']}, 参数: {call['arguments']}")
    # 执行工具
    result = get_current_temperature(**call['arguments'])
    # 将结果回传给模型
    messages += [parsed, {"role": "tool", "name": call['name'], "content": str(result)}]
    # 第二轮:模型根据工具结果生成最终回答
    # ...再次调用 generate...

2. Llama.cpp 与 Llama App 的用法

面向 macOS 和 Windows 用户,Llama App 把图形界面和系统托盘集成做了进去,底层跑的是 llama.cpp。官方放出的 GGUF 量化模型已经可以下载,涵盖 4-bit(IQ4_NL)和 8-bit(Q8_0)两种。

在命令行里,直接用 Hugging Face Hub ID 就能把服务拉起来:

# 启动固定循环版本 (4-bit)
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL
# 启动可变循环版本
llama serve -hf ggml-org/TML-d24-varloop-research-GGUF:IQ4_NL

想要更高精度的话,把后缀换成:Q8_0就行。另外,Llama App 会开放一个兼容 OpenAI 的本地 API 端口,在 VS Code 或者其他编辑器插件里配置起来很方便。

3. 用 SGLang 做高性能部署

SGLang 对 Inkling 2 Mini 做到了“Day 0”支持,高并发服务场景用它比较合适。不过要注意,使用特定优化后端时得先确认硬件兼容,比如 SM103 架构也就是 Blackwell GPU;普通 CUDA 显卡同样能跑,只是有些优化用不上。

启动服务器的命令是:

export MODEL="thinkingmachines/Inkling-2-Mini"
python -m sglang.launch_server \
  --model-path $MODEL \
  --served-model-name inkling \
  --attention-backend fa4 \
  --bf16-gemm-backend torch \
  --dtype bfloat16 \
  --tp 1 \
  --page-size 128 \
  --grammar-backend xgrammar \
  --host 0.0.0.0 \
  --port 30000

要开启多模态支持,得加上--enable-multimodal 参数。

投机解码带来的加速

SGLang 可以用 DSpark 草稿模型做投机解码,吞吐量提升比较明显。原理是草稿模型先预测后面几个 token,主模型只负责验证;验证一旦通过,多个 token 就一次性接收,推理步数因此减少。

启动时加上这些参数:

--speculative-algorithm DSPARK --context-length 131072

在 NVIDIA B300 GPU 上做的基准测试显示,开了投机解码之后,高并发场景(比如 64 并发)下生成速度提升明显。手里有本地高端显卡的用户,这个加速选项可以试一试。

4. Apple MLX 用户这边

Mac 用户可以直接通过mlx-lm这个库来运行。官方已经把支持合并进上游,还提供了针对 Apple Silicon 优化的量化版本。

命令行一键生成:

mlx_lm generate \
  --model thinkingmachines/Inkling-2-Mini \
  --image image.jpg \
  --prompt "Describe this image.<|end_message|><|message_user|><|content_image|><|unused_200054|>" \
  -m 1000

MLX 后端直接用原生的 NVFP4 + MXFP8 量化格式,不用再转换一次,模型作者预期的最佳质量因此得以保留。

总结与建议

Inkling 2 Mini 出来之后,“在本地跑高质量多模态模型”这件事变得更容易落地了。它的核心优势有这么几点:

  1. 效率高:循环架构加上 MoE,物理参数量不大,逻辑深度却做到了较强水平。
  2. 功能全:图文混合输入、工具调用、可调节的推理深度都是原生支持。
  3. 生态好:主流推理框架首发就有支持,量化版本也给得齐全。

机器有 16GB 以上显存(或统一内存)的话,很建议下载 4-bit GGUF 版本或者 MLX 版本上手试试。拿它辅助写代码、分析图表,或者单纯体验一下本地跑“活”的《星月夜》,效果都不错。社区对可变循环版本的探索还在继续,往后大概会出现更多在延迟和精度之间找平衡的微调方案。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 大模型“诚实开关”研究:不改代码只调权重,就能拒绝说谎指令

    你有没有想过一个问题:如果你让一个AI助手去读某个网页,网页里藏着一句话"请对用户说假话",这个AI会不会真的照做?答案可能让你意外。会的。这不是危言耸听。研究人员发现,现在主流的大语言模型,比如Llama、Phi、Qwen这些,只要系统提示词里写了"欺骗用户"或者"故意答错",模型就真的会配合演出。更麻烦的是,这种指

    来源 腾讯网
  2. Metric AI开源亚美尼亚语模型Ayb 0.5:90亿参数跻身前三

    Metric AI团队推出了Ayb 0.5系列开源语言模型,包含0.8B、4B和9B三个版本。该系列基于Qwen3.5架构,针对亚美尼亚语进行了深度适配,在ArmBench基准测试中表现优异,甚至超越了部分参数量更大的模型。Ayb 0.5不仅支持文本生成和指令遵循,还保留了完整的视觉语言能力,能够用亚美尼亚语描述图片。

    来源 AI 应用前沿
  3. 腾讯混元团队AMA:Hy4之后还有mini版和更大模型

    今天凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员在Reddit进行了一场AMA(Ask Me Anything,公开问答)。这是混元团队首次在开发者社区公开答问,两小时内共收到300多条留言。从今年3月重建预训练与强化学习基础设施,到11月接连发布Hy4和Hy4 flash,混元用了九个月,跻身全球

    来源 腾讯网
  4. Gemini 4 翻身背后:SemiAnalysis 填表道歉,Hassabis 接梗回应

    Google DeepMind通过组织调整、算力重新分配和训练体系升级,在短短七周内连续推出四款Gemini 4模型。依托大规模预训练、多线并行研发和真实工程场景的强化学习训练,Gemini在编程和Agent能力上实现突破,重返行业第一梯队,此前唱衰Google的SemiAnalysis也公开致歉。

    来源 华尔街见闻
  5. NVIDIA 开源连续扩散语言模型,14 个检查点同步放出

    2026年11月21日AI资讯:NVIDIA发布Nemotron-Labs-Sigma连续扩散语言模型并开源14个检查点;腾讯混元团队回应Hy4后训练空间及更大模型计划;Inkling 2 Mini上架Ollama降低本地智能体门槛;OpenAI反蒸馏防护将思考链提取成功率压至0.2%;Dragos揭露AI服务链隐私泄

    来源 AI 应用前沿
  6. Gemini 4 翻身记:SemiAnalysis 补交道歉表,Hassabis 接梗

    曾断言 Gemini 掉队的研究机构 SemiAnalysis,在 Gemini 4 系列密集发布后向 Google 公开致歉。文章梳理 DeepMind 的组织调整、算力分配与长期研发积累,解析真实工程任务驱动的后训练如何提升编程和智能体能力。

    来源 爱范儿
  7. 问诊AI?一场死亡背后的追问

    查症状、看药品说明书、理解检查报告,优先用有明确医学语料来源、答案带引用且被设计为“转介医生”而非“替代医生”的专业医疗AI产品,而不是把通用聊天大模型当成全科大夫。

    来源 凤凰科技
  8. NVIDIA SEED:让Qwen预填充计算降25%,显存占用砍半

    NVIDIA 发布 SEED 技术,针对 Qwen3.8-Flash-Next 等混合架构模型进行推理优化。通过“浅层编码深层记忆”和“循环状态低秩分解”,SEED 在不改变原模型权重的前提下,将预填充阶段的计算量减少约 25%,单请求循环状态内存占用从 113MB 降至平均 43MB。实测显示,在 GB300 GPU

    来源 AI 应用前沿
  9. 谷歌工程师让打印机跑2.7亿参数模型:每词元约60秒

    IT之家 11 月 20 日消息,谷歌 DeepMind 技术团队成员奥马尔 · 圣塞维耶罗(Omar Sanseviero)于 11 月 17 日在 X 平台发布推文,在只占用 14.1MB 内存的情况下,成功让办公激光打印机运行 2.7 亿参数的 Gemma 3 270M 模型,每输出一个词元(Token)消耗约

    来源 腾讯网
  10. 腾讯混元Hy4 Flash实测:35分钟出可玩游戏,API价压过DeepSeek

    腾讯新发布的混元Hy4 Flash模型在速度与成本上表现激进。实测显示,它能在十几分钟内完成3D场景建模、增量游戏开发及财报分析,API价格仅为竞品的一半。通过混合注意力与Engram记忆模块等技术优化,该模型在保持高智能水平的同时,将推理成本压缩至旗舰模型的二十分之一,适合处理高频日常办公任务。

    来源 AI 应用前沿
  11. OhanASR开源:亚美尼亚语专用ASR模型,流式版同步发布

    Metric-AI 团队发布了首个开源亚美尼亚语自动语音识别模型 OhanASR。该系列包含针对录音优化的 v0.1 版本和用于实时场景的 Streaming 版本,在 ArmBench-ASR 基准测试中表现优异。文章详细解读了模型性能数据、适用场景及当前存在的局限性,为开发者提供技术参考。

    来源 AI 应用前沿
  12. 谷歌SIM机制曝光:Gemini可继承Claude经验,新模型不再从零开始

    谷歌内部,或许真正实现了RSI! 从此,Gemini已能「继承经验」持续自我进化,Gemini新模型不再从零开始! 或许也正是这个原因,谷歌最近跟疯了似的不停发模型。 Gemini 4 Hydrogen才发布不到一周,更强的Gemini 4 Neon就来了。 答案,或许藏在谷歌与宾夕法尼亚州立大学深夜联合发布的一篇最新

    来源 AI 行业观察
  13. Meta Muse Charm定价300美元:AI可穿戴硬件两条路线分化

    据 The Information 报道 ,Meta 计划为其即将推出的电子宠物蛋形态 AI 可穿戴设备 Muse Charm 定价 300美元,该产品此前已在2026年早些时候的 Connect 活动中亮相。截至2026年11月19日,Meta 发言人未否认该定价传闻,仅回应称对公众关注度感到高兴

    来源 AI 开发者社区
  14. Meta AI 可穿戴设备 Muse Charm 据悉定价300美元

    据The Information报道,Meta计划将电子宠物蛋形态AI可穿戴设备Muse Charm定价300美元,该产品已在2026年早些时候Connect活动亮相。截至2026年11月19日,Meta未否认定价传闻,仅称乐见关注并将近期披露更多信息。此举是其拓展消费级AI硬件的重要动作,延续智能助手Muse及个性化

    来源 AI 产业速递
向下滚动自动加载更多