田渊栋新公司首发模型Flint-40B-A2B：MoE架构，4个月造出

Flint-40B-A2B 是一款专为本地硬件运行的智能体编程模型，主打速度。它由 Recursive 自研的自动化研究系统 Eureka Machine 全程参与打造。

这是一个混合专家（MoE）模型，总参数量 400 亿，每生成一个 Token 只激活 25 亿参数。从零开始到完成，Flint 只用了不到 4 个月，参与其中的是少量员工和 AI 智能体。

在 SWE-Bench Pro v2、Terminal-Bench 2.1 和 SWE-Bench Verified 等智能体编程基准测试中，总参数量低于 500 亿的其他 MoE 模型都不是 Flint 的对手。它的编程能力也能与总参数量为 250 亿至 400 亿的稠密模型相媲美，运行速度却快了 5 倍以上。

推理引擎也做了专门优化。

在 MacBook Pro M4 Pro 上，Flint 把本地模型的速度与能力之间的平衡推到了一个新的水平。

「哥们……Recursive 刚刚发布了一个能直接在 MacBook Pro 本地运行的编程模型，生成速度高达每秒 125 个 Tokens！」

开发 Flint 同样是对大规模自动化 AI 研究与开发系统 Eureka Machine 的一次实际检验。在 Flint 的模型构建流程中，数据处理、训练方案、基础设施和推理优化等几乎所有环节的研发，都由这套系统帮助 Recursive 完成。

目前，Flint 的模型权重已在 Hugging Face 上开放，采用的是 Apache 2.0 许可证。下载模型后就能在本地运行，数据留在自己的设备上，也可以根据具体应用需求进行调整。

• Hugging Face 上的模型地址也已公开：https://huggingface.co/RecursiveSI/flint

• rec 项目地址：https://github.com/recursive-oss/rec

围绕 Flint，一批工具和框架已经打通，llama.cpp、Ollama、Unsloth、LM Studio、vLLM、SGLang 都在兼容名单里。开源轻量推理引擎 rec 则单独为 Flint 做了适配，针对 M4 Pro 和 M5 Pro/Max 芯片优化，配置步骤也做得简单，用户上手会快一些。

实测数据也出来了。有人用 64GB 内存的 MacBook Pro M5 Max 跑 Recursive Flint，生成速度落在每秒 114～132 个 Tokens 之间。

图源：@WangCankun

另一名开发者拿 12GB 显存的 RTX 3060 试了这款 400 亿参数的编程模型，能跑起来，256K 上下文可用，生成速度约 46 Token/s。

本地跑智能体编程，性能摸到 SOTA

放到智能体编程基准测试里看，Flint 是总参数量低于 500 亿的 MoE 模型中成绩最好的一个。与参数规模接近的顶尖稠密模型相比，它性能不落下风，速度还明显更快。

分项来看，IFBench 和 IFEval 上 Flint 拿到最高分；Terminal-Bench 2.1 与 SWE-bench Pro v2 上，它压过所列的其他稀疏 MoE 模型。SWE-bench Verified 和 LiveCodeBench v6 上，它也保持了较强的竞争力。不过，编程基准测试中仍有一些稠密模型的分数更高。

日常写代码时，Flint 可以直接在本地跑，数据不用发到远程服务器。不过碰上复杂任务，最好把它拆小、把指令说清楚。它本身的能力已经不错，但和那些大家熟悉的大型闭源编程模型比，用起来可能要多给些引导。

Flint 的上下文窗口最长支持 512k Token。Recursive 的建议是，编程也好、别的任务也好，把上下文控制在 256k Token 以内，效果会更好。

要让计算效率真正变成更快的编程体验，光有模型不够。Recursive 把整个推理流程都改了一遍，从模型权重的表示方式，到本地硬件上执行计算的底层内核，都做了优化。

本地 AI 设备跑得更快

较强的编程能力被 Flint 搬到了用户自己的硬件上：离线就能用，数据留在自己电脑里，也不用为 API 调用付费。

经过这套推理引擎优化，Flint 在 Apple Silicon 和 NVIDIA RTX Spark 上的运行速度最高能到同类模型的 2 倍。编程基准成绩相近、参数量 250 亿至 400 亿的稠密模型，Flint 的速度比它们快 5 倍以上。

Flint 背后的自动化研究开发

现在 Eureka Machine 能自动跑完一整套研究流程：提出想法、写出实现、运行测试，再按测试结果决定下一步试什么。多条技术路线可以同时探索，已有实验的结果会被用来继续推进，不同实验里表现好的方案还能被组合起来。

Recursive 之前已经讲过这套系统怎么工作，也讲过它在最初几项测试任务里的表现。

更多细节内容：https://recursive.com/updates/first-steps-toward-automated-ai-research

Flint 从零到成型，靠的全是 Eureka Machine。数据、优化器、训练方案，加上基础设施和推理性能，每个环节这套系统都插了手。它找出的改进办法，撑起了小团队的整个研发流程，不到 4 个月，Flint 就在目标基准测试上做到了领先水平。

本地推理能跑这么快，是这些改进在模型开发各环节一层层叠出来的结果。头一步是挑一个更贴合本地硬件的模型架构，思路很直接：每个 Token 激活的参数越少，生成速度就越快。

模型架构

起点是一个总参数 350 亿、每 Token 激活 30 亿参数的基线模型，Eureka Machine 在它身上试了各种专家配置和网络宽度。几轮探索下来，系统给出的判断是：在测过的配置里，最后定下的 Flint 架构最能同时照顾推理速度和编程能力，总参数 400 亿，每 Token 只激活 25 亿参数。

量化

训练结束之后，Eureka Machine 又去找合适的量化方案，目标是在尽量不损失模型能力的前提下，把 Flint 的内存占用压下来。

有一处做法和常规路线不一样：输出层也被量化到了 4 bit。Flint 每 Token 只激活 25 亿参数，生成一个 Token 要读的权重里，输出层占的比重不小。把这一层也量化，推理开销能再降一截，但精度也可能受影响。

精度这块的损失，系统用了一个离线蒸馏环节来补：先从自动发现的核心样本集里预先采样生成回答，再拿这些回答训练量化后的模型，教师模型用的是 16 位模型。

和之前的量化感知训练基线比，这套办法把训练步数砍掉了近一半。最后拿到的 NVFP4 模型，各项基准测试的得分和 16 位模型比，差距不超过 0.7 分。

推理内核

随后，Eureka Machine 又围绕 Apple Silicon 和 NVIDIA RTX Spark 做了针对性优化，让量化模型跑得更顺。

低比特投影、MoE、注意力、提示词处理这些环节，都有专门的内核；模型结构长什么样、硬件什么脾气，内核就跟着调。

落到 M4 和 M5 芯片上，团队还写了一个基于 Metal 的大型融合内核。整个解码阶段的前向计算被并进同一个内核里执行，中间那些额外开销就省下来了。

Flint 能有现在的推理速度，靠的是 Eureka Machine 在各个点上一点点磨。Recursive 在数据处理、模型训练、基础设施上也是这个路子：把不同实验里验证有效的做法拼到一起，最终模型的表现再往上抬一截。

下一步计划

Recursive 想做的，是能递归式自我改进的超级智能，把知识发现这件事自动化。眼下先从模型开发下手，目标是搭出一套研究流程，每产出一代模型，流程就跟着变强。

Flint 就是这条路的起点。一支小团队花了不到 4 个月，从零把它造了出来。提想法、试着实现、再到模型开发的每个环节去验证方案管不管用，这些活由 Eureka Machine 来做。

在 Recursive 看来，模型能力越强，Eureka Machine 就越像个好研究员，下一代模型能开发得更快，同样的成本换来的能力也更强。

后面，Recursive 还会接着做能力更强的本地模型，以及跑这些模型要用的基础设施，并把这件事推到更广的 AI 研究与开发中去。

博客地址：https://recursive.com/updates/introducing-recursive-flint