Inkling 2 Mini 发布:循环架构让小模型本地跑出中型模型水准
Thinking Machines Lab 推出的 Inkling 2 Mini 是一个专为本地部署设计的多模态模型。它通过独特的“循环层”架构,用约 260 亿物理参数实现了接近 48 层逻辑深度的推理能力。文章详细介绍了其技术原理、在代码生成和视觉任务上的表现,以及如何在 Transformers、llama.cp
为什么关注 Inkling 2 Mini
在本地跑大语言模型,长久以来都得二选一:小模型速度快,可脑子不够使;大模型聪明,显存却直接撑爆。Thinking Machines Lab 新出的 Inkling 2 Mini,想在这个夹缝里找条路。
这是一款面向本地硬件做优化的多模态混合专家(MoE)模型,物理参数量约 260 亿,可每处理一个 token,只有约 30 亿参数被激活。它还用了“循环访问”中间层的办法,让模型在逻辑上表现得像层数多得多的庞大网络。实测下来,它至少能跟 Qwen 2.5-32B、Qwen 3.8-27B 这类中型模型过招,部分编码基准上还占先。
想在个人电脑、工作站乃至高端笔记本上跑高质量 AI 助手的开发者,可以把它列入候选。文本之外它还能读图,Transformers、
llama.cpp、SGLang 和 Apple MLX 这些主流推理后端都已适配。
核心架构:把层数“循环”起来
Inkling 2 Mini 的思路有点反直觉。一般会觉得模型越深、层数越多,理解力越强,计算开销也越大。它的做法是:物理上只留 24 个解码器层,让中间那 12 层被反复走三遍。
数据先过前 6 层,随后进入第 7 到第 18 层构成的核心循环区,这个区连续执行三次,最后再走完剩下的 6 层出结果。物理权重虽然共享,每次循环却不是简单重复——模型加了一套跨传递的“消息机制”(cross-pass messages)。
第二、第三次经过核心层时,每层除了拿到当前输入,还会读上一次循环留下的“消息”,里面装着此前计算的关键信息。靠一个小型门控控制器,模型自己决定当前输入留多少、历史消息融多少。物理层数有限,推理深度和信息精炼却能往上走。
作为 MoE 模型,它每层有 128 个专家网络,每个 token 只路由到其中 8 个。稀疏激活把计算量压了下来,消费级显卡上也能跑得很快。
还有一个实验性的变体TML-d24-varloop-research被一同发布。这个版本允许用户动态调整循环次数。把默认的 3 次改成 1 次或 2 次,推理速度会明显提升,复杂任务上的回答质量则可能略降。对延迟敏感的应用,多了一个可调的权衡手段。
性能表现:不只是跑分好看
在 Artificial Analysis Intelligence Index v5 (AAv5) 基准测试里,Inkling 2 Mini 在同尺寸模型中领先。跟 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 和 Nemotron 3.5 Super VL 对比,48 项基准测试中有 32 项它拿了最高分。
编码与代理能力
对开发者来说,最实用的或许是代码生成。FrontierCode v2.0 基准上它排第一;Terminal-Bench 4.0 上与 Qwen3.8-27B 持平。AutomationBench-AA 这类高度自动化任务上它比 Qwen 稍弱,但作为本地编程助手,表现已经够亮眼。
视觉与创意生成
写代码之外,视觉理解和生成也下了功夫。团队做了几组“Vibe Tests”(氛围测试):
WebGL 着色器生成:给模型一个提示词,要求生成日落场景,含程序化山脉、体积云和水面反射,且必须是单文件 HTML,不得引用外部图片或库。Inkling 2 Mini 写出了复杂的 WebGL 片段着色器代码,浏览器里流畅渲染出电影级飞行视角动画。
《星月夜》复活:把梵高的《星月夜》给它看,要求用代码重现并让画“动”起来。模型没有直接贴图,而是用 WebGL2 着色器从头画漩涡状天空、闪烁星星和摇曳柏树。经过 24 轮自我截图检查和修正,最终动画在 M4 Max 芯片上以 1080p/60fps 流畅运行。
草图变应用:拍一张手绘 App 线框图(比如旅行费用分摊应用)丢给模型,它能认出图中标签、按钮和备注,直接生成功能完整的单页 HTML 应用,费用计算逻辑和本地存储功能都在。独立测试中,所有功能检查一次通过。
这几个案例说明,它做的不是单纯补全代码,而是理解视觉意图和逻辑结构。
如何在你自己的设备上运行
不用等云端 API,现在就能在本地跑起来。下面是几种主流方式的操作指南。
1. 使用 Hugging Face Transformers
最常规的路子是用 Hugging Face Transformers,Python 开发者用起来顺手,前提是先把最新版装上。transformers 库。
import torch
from transformers import AutoModelForMultimodalLM, AutoProcessor
model_id = "thinkingmachines/Inkling-2-Mini"
# 加载处理器和模型
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16, # 建议使用 bfloat16 以节省显存
device_map="auto" # 自动分配设备
)
# 准备对话消息
messages = [{"role": "user", "content": [{"type": "text", "text": "为什么天空是蓝色的?"}]}]
# 应用聊天模板并 tokenize
inputs = processor.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt"
).to(model.device)
input_len = inputs["input_ids"].shape[-1]
# 生成回答
outputs = model.generate(**inputs, max_new_tokens=1024)
print(processor.decode(outputs[0][input_len:], skip_special_tokens=False))想试研究版、自己调循环次数的话,改一下模型名就行。model_id加载的时候把配置一并传进去:
model_id = "thinkingmachines/TML-d24-varloop-research"
model = AutoModelForMultimodalLM.from_pretrained(
model_id,
text_config={"loop_num_passes": 2}, # 设置为 2 次循环,速度更快
)图片输入怎么处理
只需修改 messages 结构即可:
messages = [
{
"role": "user",
"content": [
{"type": "image", "image": "/path/to/your/image.jpg"},
{"type": "text", "text": "这张图里有什么?"},
],
}
]推理投入程度怎么调
Inkling 2 Mini 靠一个参数来决定模型想多深。reasoning_effort这个参数默认取high也就是 0.9。简单问题想快一点,可以压到low即 0.2;碰上复杂逻辑再拉到max0.99。
inputs = processor.apply_chat_template(
messages,
reasoning_effort="medium", # 中等努力程度
tokenize=True,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt"
).to(model.device)工具调用怎么写
函数调用是模型自带的能力,下面拿查天气做个示范:
def get_current_temperature(location: str, unit: str):
# 这里应该调用真实的天气 API,演示中返回固定值
return 22.0
# 定义工具
tools = [get_current_temperature]
# 第一轮:模型决定调用工具
inputs = processor.apply_chat_template(
messages,
tools=tools,
reasoning_effort="low",
tokenize=True,
return_dict=True,
return_tensors="pt"
).to(model.device)
output = model.generate(**inputs, max_new_tokens=1024)
parsed = processor.parse_response(output, prefix=inputs["input_ids"][0])
# 解析出工具调用参数
if "tool_calls" in parsed:
call = parsed["tool_calls"][0]["function"]
print(f"模型请求调用: {call['name']}, 参数: {call['arguments']}")
# 执行工具
result = get_current_temperature(**call['arguments'])
# 将结果回传给模型
messages += [parsed, {"role": "tool", "name": call['name'], "content": str(result)}]
# 第二轮:模型根据工具结果生成最终回答
# ...再次调用 generate...2. Llama.cpp 与 Llama App 的用法
面向 macOS 和 Windows 用户,Llama App 把图形界面和系统托盘集成做了进去,底层跑的是 llama.cpp。官方放出的 GGUF 量化模型已经可以下载,涵盖 4-bit(IQ4_NL)和 8-bit(Q8_0)两种。
在命令行里,直接用 Hugging Face Hub ID 就能把服务拉起来:
# 启动固定循环版本 (4-bit)
llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL
# 启动可变循环版本
llama serve -hf ggml-org/TML-d24-varloop-research-GGUF:IQ4_NL想要更高精度的话,把后缀换成:Q8_0就行。另外,Llama App 会开放一个兼容 OpenAI 的本地 API 端口,在 VS Code 或者其他编辑器插件里配置起来很方便。
3. 用 SGLang 做高性能部署
SGLang 对 Inkling 2 Mini 做到了“Day 0”支持,高并发服务场景用它比较合适。不过要注意,使用特定优化后端时得先确认硬件兼容,比如 SM103 架构也就是 Blackwell GPU;普通 CUDA 显卡同样能跑,只是有些优化用不上。
启动服务器的命令是:
export MODEL="thinkingmachines/Inkling-2-Mini"
python -m sglang.launch_server \
--model-path $MODEL \
--served-model-name inkling \
--attention-backend fa4 \
--bf16-gemm-backend torch \
--dtype bfloat16 \
--tp 1 \
--page-size 128 \
--grammar-backend xgrammar \
--host 0.0.0.0 \
--port 30000要开启多模态支持,得加上--enable-multimodal 参数。
投机解码带来的加速
SGLang 可以用 DSpark 草稿模型做投机解码,吞吐量提升比较明显。原理是草稿模型先预测后面几个 token,主模型只负责验证;验证一旦通过,多个 token 就一次性接收,推理步数因此减少。
启动时加上这些参数:
--speculative-algorithm DSPARK --context-length 131072在 NVIDIA B300 GPU 上做的基准测试显示,开了投机解码之后,高并发场景(比如 64 并发)下生成速度提升明显。手里有本地高端显卡的用户,这个加速选项可以试一试。
4. Apple MLX 用户这边
Mac 用户可以直接通过mlx-lm这个库来运行。官方已经把支持合并进上游,还提供了针对 Apple Silicon 优化的量化版本。
命令行一键生成:
mlx_lm generate \
--model thinkingmachines/Inkling-2-Mini \
--image image.jpg \
--prompt "Describe this image.<|end_message|><|message_user|><|content_image|><|unused_200054|>" \
-m 1000MLX 后端直接用原生的 NVFP4 + MXFP8 量化格式,不用再转换一次,模型作者预期的最佳质量因此得以保留。
总结与建议
Inkling 2 Mini 出来之后,“在本地跑高质量多模态模型”这件事变得更容易落地了。它的核心优势有这么几点:
- 效率高:循环架构加上 MoE,物理参数量不大,逻辑深度却做到了较强水平。
- 功能全:图文混合输入、工具调用、可调节的推理深度都是原生支持。
- 生态好:主流推理框架首发就有支持,量化版本也给得齐全。
机器有 16GB 以上显存(或统一内存)的话,很建议下载 4-bit GGUF 版本或者 MLX 版本上手试试。拿它辅助写代码、分析图表,或者单纯体验一下本地跑“活”的《星月夜》,效果都不错。社区对可变循环版本的探索还在继续,往后大概会出现更多在延迟和精度之间找平衡的微调方案。