张博开源Linger:零token费本地跑125B模型,12GB显卡够用
11月19日,前DeepSeek-VL项目负责人张博在X宣布开源个人Agent Linger,开发主体是张博创办的SIMPLEX AI TECHNOLOGIES PTE. LTD.(以下简称“Simplex AI”),代码已上传GitHub。按项目文档,Linger读取本地邮件、日历和文件,操作用户已登录的浏览器;连接
11月19日,张博创办的Agent Linger正式开源,开发主体就是他这家公司。
项目文档显示,Linger会读取本地的邮件、日历和文件,并操作用户已登录的浏览器;连接外部应用时,读取类操作直接执行,发邮件这类写入动作才会弹窗确认。
官方文档也把权限边界写清楚了:Agent在用户授权的运行环境里执行任务,能访问这台电脑上的文件、已登录应用以及命令行。Linger用
Simplex AI公布的实验室测试数据显示,在12GB显存加64GB内存的配置下,阿里千问
不过这几组性能数字的测试口径并不一致,实际用起来效果如何,还要等验证。
把125B模型塞进12GB显卡的,是PolyStrata,一个
官网信息显示,PolyStrata已经适配12个开源模型,Qwen、
DeepSeek等都在其中。
算成本账,硬件是绕不开的前提。45.5
官方还有一组硬件规划测试:模拟12GB显卡配32GB内存的配置,同一模型跑出21.3 tokens/秒,
8GB显卡档标的是38.1 tokens/秒,脚注同样说明,这是把96GB显卡限制到8GB预算测出来的,并非真实的8GB显卡。
官方文档写明,工作数据保存在用户自己运行的服务器和电脑上,但有几类数据会离开本机:用远程模型时,模型调用会把提示词和上下文发给模型服务商;连接Gmail、Slack等应用、语音识别和实时语音,则分别调用
说到底,Linger省下的只是本地模型推理那部分token费。硬件、电力以及上述外部服务的开销,都得另外算。
Linger 在收费方式上的做法是:本地部署这一头向个人开放,云端托管那块的权利仍握在手里。现在很多个人 AI 助手和 Agent 产品反过来走,靠云端模型或者托管服务,用户要么订阅、要么按用量掏钱、要么自己备好 API 额度;而用了云端模型,任务需要的上下文一般就得交到模型服务商手上。
Linger开源版本可以在本地免费使用,另外还设有
项目许可证以
张博在开源帖里说,如今AI在数据中心训练,再以token的形式租回给用户,智能应该由用户完全拥有。与DeepSeek此前展示的
张博2019年在
这款产品还处在开源早期,支撑性能说法的几组数字都是企业自测口径,暂时没有第三方复现。接下来可以留意的是,Linger到2026年底的