张博开源Agent项目Linger:本地推理零token费,12GB显卡跑125B模型
11月19日,前DeepSeek-VL项目负责人张博在X宣布开源个人Agent Linger,开发主体是张博创办的Simplex AI。零token费是Simplex AI主打的卖点,README与官网均写明本地推理不产生云端账单和token费用。
11月19日,张博在X上宣布把个人Agent Linger开源。他是
DeepSeek-VL项目的前负责人,这次的开源主体为本人创办的SIMPLEX AI TECHNOLOGIES PTE. LTD.(下称Simplex AI),代码已经传到GitHub。

项目文档给出的运行方式是:Linger会读取本机的邮件、日历和文件,并操控用户已登录的浏览器。凡是连接外部应用做读取,直接执行;发邮件这类写入动作,则会先弹一张确认卡,用户随时可以接手。
官方文档同样划定了权限边界:Agent在用户授权的那套运行环境里干活,能碰这台电脑上的文件、已登录应用和命令行。对Agent行为的约束靠确认卡加服务端校验,沙箱隔离并未采用。
Simplex AI公布的实验室测试数据是:12GB显存加64GB内存的配置下,阿里千问Qwen3.8-Flash-Next跑到45.5 tokens/秒。这一速度指模型开始生成后的稳态值,首token等待不计在内。零token费被Simplex AI当作主打卖点,README和官网都写明:本地推理不会产生云端账单,也没有token费用。
不过,这组性能数字的测试口径并不统一,真实使用中的表现还有待验证。
能把125B模型塞进12GB显卡的,是MoE推理引擎PolyStrata。文档对它的原理是这样说的:专家权重分层管理,一部分专家留在显存,剩下的搁在系统内存或SSD里,需要时再调过来。Qwen3.8-Flash-Next的2-bit量化文件约39GB,这些权重靠分层调度跑起来,不会一股脑全载入显存。
官网信息显示,PolyStrata已经适配12个开源模型,Qwen、DeepSeek、Gemma、Qwen3.8-Flash-Next、Qwen3.8-27B和Spark-X2.6-4B都在其中,还有更多模型列在名单上。发布会拿来演示的千问模型只是其中之一,DeepSeek同样在支持列表里。对本地推理用户而言,模型选择不被单一厂商绑住,可以照硬件条件切换,也不用为某一家的云端调用单独订阅。

算成本账,绕不开硬件这个前提。45.5 tokens/秒对应的就是12GB显卡加64GB内存。
官方另一组硬件规划测试里,模拟12GB显卡配32GB内存的配置,同一模型速度为21.3 tokens/秒,首字延迟约3分钟。这组数据是在96GB显卡上限制显存预算模拟出来的,并非真实12GB显卡实测;该档默认推荐的模型其实是Qwen3.6-35B-A3B。两项数据分属不同测试,不能直接对照。
8GB显卡档标的是38.1 tokens/秒,脚注也注明:这是在96GB显卡上把预算限制到8GB测得的,不是真实8GB显卡。
官方文档写明,工作数据存放在用户自己运行的服务器与电脑上,但有几类数据会离开本机。用远程模型时,模型调用会把提示词和上下文发给模型服务商。连接Gmail、Slack等应用、语音识别和实时语音,分别调用的是Composio、Soniox和xAI。后台记忆和Wiki生成,用的则是Claude Code或Codex等运行时。
说到底,Linger省下的账只限于本地模型推理不用付token费。硬件、电力以及上面那些外部服务的开销,得另外算。
商业模式上,Linger把本地部署开放给个人使用,云端托管权则握在手里。眼下不少个人AI助手和Agent产品走的是云端模型或托管服务路线,用户靠订阅、按用量付费或自备API额度来用;云端模型通常要把任务所需的上下文发给模型服务商。
开源版本可以免费在本地使用,Linger另有一个hosted版本,目前只开放等候名单,定价还没公布。截至11月20日,该项目GitHub仓库的星标约1.8k。
许可证方面,项目以Apache 2.0为基础,附加了商业限制。