SAG2开源:不调大模型不建向量库,11656段文本建库仅2.36秒

资讯 腾讯网 作者:腾讯网 全文 5399 字 · 约 14 分钟读完 分类开源

大家好,我是一直在跟知识库打交道的袋鼠帝。 在 AI 圈,每天都有新东西冒出来,但已经好久没有一个东西,能让我看完浑身起鸡皮疙瘩了。 最近开源的SAG2,真就做到了。或许它将彻底....

所属频道 开源生态

大家好,我是袋鼠帝,常年跟知识库打交道。

AI 圈天天冒新东西,可让我看完起鸡皮疙瘩的,已经很久没出现过了。

最近开源的 SAG2 就做到了。RAG 说不定要被它掀翻——文件不用预处理,本地文件直接当知识库用,速度快得离谱,准确度也高,偏偏连 embedding 都不需要……

https://github.com/Zleap-AI/SAG-Wiki


当然,SAG2 还是理论层面的东西,已经落地能用的工具叫 SAG Wiki,后面会细说。

这么牛的开源项目,作者得单独说一句:广州智跃深空(Zleap)。从 SAG 到 SAG2 全是他们自己研发的,团队确实厉害。

老读者可能有印象,6 月我写过一篇讲 SAG 第一版的稿子。

那时候 SAG 刚开源,它用 SQL 现场串起多跳线索的路子把我吸引住了,我还建议大家把它当 MCP 接进 FastGPT。

可用过的朋友清楚,一代落地时还得调大模型逐段抽事项、抽实体,建库耗时挺长,不少人觉得工程上有点折腾。

结果才 4 个多月,他们把这些全砍了。

现在的 SAG2 建库不调大模型,不做 Embedding,不要向量数据库,也不用 GPU。同样是 11,656 段文本,SAG 一代建库要 4.57 小时,SAG2 只要 2.36 秒,速度提升 7000 倍!

效果反而更好了。三个多跳检索测试集,8 项指标全部第一。

卧槽。。

知识库那个不可能三角——又轻、又便宜、又准,过去最多占两样。SAG2 一口气给打破了。

我为什么这么兴奋

大概是因为,从 24 年初裸辞 All in AI 开始,我就一直在跟知识库打交道,也写了不少相关文章。

我 24 年初裸辞,靠帮一位老板部署 FastGPT、建知识库、调效果挣到第一笔钱。之后这类活又零零散散接了很多。

搭知识库其实不难,难的是后续维护和调优。

分块也头疼:张三负责 A 项目和 500 万预算,被切成两段,线索就断了。score 调低噪音多,调高又容易漏东西,经常按下葫芦浮起瓢。我有个好朋友的公司,组了六个人的团队,整整花了半年,才把回复准确率调到比较满意的状态。

维护更烦。文件一改,就得重新上传、重新切块、重新向量化一遍。

预处理、调优、维护这几个坑我基本都踩过。所以看到 SAG2 的思路,我是真有点激动。

先简单捋一下知识库这几年怎么走过来的,不然很难讲清 SAG2 到底新在哪、好在哪。

RAG 这个词 2020 年就有了,出自 Facebook(现在的 Meta)的一篇论文。

真正火起来是 23 年 ChatGPT 之后:

公司的情况大模型并不了解,办法是先把资料切碎、转成向量存好,用户提问时挑出最相似的几块喂给它。FastGPT、Dify 这些平台把这套流程包装成了点几下就能完成的界面操作。

后来大家意识到,只靠向量并不够用,全文检索、向量检索再加重排序的混合检索逐渐成了常见配置。这套方案到今天仍是最成熟的工业做法,日常的单文档问答用它绰绰有余。

短板就出在多跳上。拿上次那个例子来说:

文档1:A公司全资收购了B公司。

文档2:张三被任命为A公司的CTO。

文档3:张三离职,加入了盘古大模型项目。

问:收购了B公司的企业,其CTO后来加入了哪个项目?

文档3里头,收购、B公司、CTO这几个词一个都没出现,线索到这儿就断了。

知识图谱因此登场:

24 年微软把 GraphRAG 开源出来,之后又冒出 LightRAG、HippoRAG 2 等方案。它们的做法是入库前先让大模型把人名、公司、事件之间的关系逐一抽出来,拼成一张大图。多跳能力确实上去了,可代价是贵、是重:索引环节要反复调用大模型,一旦有新文件进来,关系说不定还得重新算。

今年 4 月,卡帕西分享了 LLM Wiki 的思路:

思路是让大模型把原始资料通读一遍,编译成一套 wiki 页面,问答针对 wiki 来做,产出的结果再回填进去。我写仓颉.Skill 时就专门参考过它。拿来整理个人知识挺顺手,页面读着也舒服。问题是资料一多,大模型一篇篇读、一篇篇写,时间和 Token 都跟着涨,原文一改,对应页面照样得重写。

Google 的 NotebookLM 也算一条路。年初那篇工具推荐里我提过它,资料丢进去就能问答、出摘要、生成播客,啃大部头很好使。但资料要上传到云端,每个笔记本可放的来源有上限,想叫本地 Agent 直接调它,也不太方便。

规律其实很清楚:每往前进一步,多半是在入库时多掏一点钱、多调一次模型,换来检索更准。

SAG 一代走的也是这个路子,只不过比 GraphRAG 轻一些:

它不画全局大图,只提炼事项和实体,查询时再用 SQL 把它们串起来。

SAG2 却把这条路掉了个头。

建库阶段,SAG2 一个模型都不调,直接对原文建关键词索引,用 BM25 打分。

BM25 这名字不少人可能没听过,其实是个老古董,90 年代就有了。你熟悉的 Elasticsearch(开发者应该很熟),默认打分用的就是它。

同样面对 11,656 个段落,原 SAG 论文给出的建库时间是 4.57 小时,消耗 2,826 万 tokens。

这回他们在一台 M4 Pro、64 GB 内存的 Mac 上,从空数据库连续重建三次,中间值只有 2.36 秒,而且没有 token 消耗~

4.57 小时对 2.36 秒,两次记录的建库耗时差了约 7,000 倍!!

一个刷新 SOTA 的新方案,底座竟是三十年前的老算法。这算不算返璞归真?🤔

那语义理解从哪来?靠 JEV。

JEV 是前

所以 SAG2 的分工是这样的:

BM25 先把候选粗粗筛一遍,JEV 再从中判断哪些算得上有用的证据;随后算法从这些有用段落里提取关键词,继续往下搜,JEV 则结合已经到手的证据,对新搜到的内容再做一次判断。

仍以张三为例,SAG2 的走法是这样:

第一轮用收购、B公司去搜,命中文档1,JEV 判定有用。接着从文档1里挑出关键词 A公司继续搜,命中文档2,得知 CTO 是张三。再拿张三去搜,命中文档3:盘古大模型项目。

SAG 一代串线索,靠的是事项和实体,这两样得提前让大模型抽出来。

SAG2 改成关键词和段落:一个关键词连着好几个段落,一个段落里也装着好几个关键词,这些关联直接来自原文,事前不用做任何处理。

打个比方,以前图书馆还没开门,就得先安排人把每本书通读一遍、逐张写好卡片;如今则是你开口问的当口,管理员顺着目录快速翻找,边上还守着一位老师傅,书一递到跟前,他瞟一眼便给出判断:这本管用,那本白搭。靠计算机撑起来的这种速度,确实快得离谱。

我上次写 SAG 时,最难的 MuSiQue 上 Recall@5 是 80.04%,这次是 80.68%,比 HippoRAG 2 高了 15.55 个百分点。本来以为砍掉预处理效果得退一点,结果没退反进。

更让我佩服的是 EnterpriseRAG-Bench,51 万份模拟企业邮件、工单、会议记录的文档。一项规模研究里,LightRAG、MS-GraphRAG、HippoRAG 2 这些图谱方案都没跑完全量。SAG2 全部跑完,建库 8 分 32 秒,文档 Recall@10 达到 81.10%。

另外,基于 SAG2,他们还开源了桌面端 SAG Wiki(这就非常方便了):

Windows 版约 13 MB,macOS 约 18 MB。非常轻量~

添加一个本地文件夹就是知识库,文件不用动,改了自动增量更新。问答模型我配的是 DeepSeek V4.1 Flash。

https://github.com/Zleap-AI/SAG-Wiki

配置起来就两步。先在设置里把两个模型填好:问答模型管生成回答,选哪个随你(比如性价比高的 DeepSeek );决策模型管找线索,官方论文里用的是 TypeSafe 的 Jev 模型,这也是官方定死的决策模型,配置时把对应的 Jev Key 填进去就行,想换别的决策模型同样可以。

配置好后,就可以回到首页添加文件夹(知识库)了

然后,即便你电脑上有无数种格式的文件,SAG Wiki都能索引,并识别到,甚至能识别音频、视频。

位置在:设置->文件设置->其他格式


一、检索我自己的文章

我把放着 383 篇历史公众号文章的文件夹扔进去实测:

先问了一下「之前蒸馏公众号文章时,到底处理了多少篇、多少字?」

它搜了两次,翻出了对应的文章,直接给出准确数字:138 篇、79 万字!

说实话,我蒸馏的文章写了好多篇了。它居然能一次搞定,没有找错,确实有东西。

我又追问:

之前有哪些把视频或多模态工具通过 CLI、Skill 接进 Agent 的实测?

它把过往文章从头到尾扫了一遍,从各篇文章里翻出 LibTV、拓、Remotion 等案例,工具、接法、标题、日期被它齐整地列进一张表,点一下引用就能跳到原文。

这多跳检索,也完全不在话下,而且我检查了一下,真滴准。



2、借六度分隔玩个脑洞,李白和爱因斯坦怎么联系起来?

随后我往 SAG Wiki 里装进了 10 万篇维基词条,再加上另外几个目录,这台电脑总共索引了 100,461 个文件。建库花了多久?具体时间我记不清了,只记得去趟洗手间回来,库就已经建好了。

下面这几道题换个场地,放到终端里,用 Claude Code 来跑。


接着做一组对照:

「Claude Code + DeepSeek」对「Claude Code + DeepSeek + SAG2」。

双方都以 DeepSeek V4.1 Flash 来查这个十万词条库,区别只在于一边挂了 SAG2,另一边是原生模型。

题目是:只给「李白」和「爱因斯坦」这两个看似毫不相干的名字,能不能顺着线索在几步之内把他俩连起来?条件只有一个——每一步都得有确凿出处,不许胡编。

PS:终端界面不好截图,截出来效果也差,图是让 AI 按真实结果画出来展示的。

两组最后给出的答案完全不一样:

原生组翻出了刘慈欣的作品表——《朝闻道》(又名爱因斯坦赤道)和《诗云》(又名李白),靠科幻作家的作品集让两人同框;

接了 SAG2 的那边则先用关键词锁定学者林庚先生,再沿 SAG 追他的生平著作:林庚年轻时在清华物理系痴迷爱因斯坦的相对论,后来成了写出《诗人李白》的文学巨擘。从相对论连到林庚,再连回李白,两头都有原文可查。


3、几十万字研报里找芯片产业链。

脑洞测完,再上一个更硬核的场景:啃几十万字的大部头专业研报。

平时研究算力硬件、折腾本地模型,免不了要翻半导体研报。可看英文研报的滋味大家都懂:动辄一两百页全英文,满篇专业缩写和黑话,想从里面挖出一个关键细节,头都大了。

举个例子,英伟达 H100 芯片用的是 SK 海力士的 HBM3 显存、走 MR-MUF 封装工艺,这大家都知道。但要是往下深挖:核心的底层填充胶水(Underfill),是谁独家供给 SK 海力士的?

这类隐秘的供应链事实,官方通稿里往往不写,科技新闻也不会细讲,多半埋在深度研报的某个角落。我手上正好有 26 份半导体深度研报,就拿来做这次测试。


结果差距悬殊:接了 SAG2 的一边只调用了 3 次工具就找到核心段落,一下就命中了 Namics 供货的那句原文;

原生查找组则在各个文档之间乱翻,像没头苍蝇,直到第 11 次工具调用才勉强蒙对。


4、代码排错能不能直接定位?

最后一题,给两组 Claude Code 同一份 SAG Wiki v0.2.6 源码,查底层 Jev 碰到网络错误时的重试逻辑。

原生组抓出一堆文件逐个打开看;接了 SAG2 之后,问题直接扔过去,它就把文件、行号和关键代码一并带回来:明确命中 HTTP 499 状态码重试时不增加失败计数。


总耗时从原生组的 144 秒降到 95 秒。

这么看,SAG2 不光适合超大规模下的快速检索,哪怕数据量没那么大,也比原生模型强出不少。


「最后」

在 AI 圈摸爬滚打这几年,我常有一种恍惚感。

大家似乎都陷进了一种技术执念:模型参数越堆越大,向量数据库要上集群,系统越做越庞大、越做越贵,门槛也越抬越高。

SAG2 走的路子跟这套思路正相反。它没碰那些重型架构,也没堆什么玄乎概念,而是退回到 Unix 那句最朴素的信条:一切皆文件。它用的是已经跑了几十年的 BM25 倒排索引,配上轻巧灵动的动态超边,把繁重的计算往后推,推到真正需要的那一刻才算。

建库只要几秒钟,体积 10几MB,过去很难啃的多跳推理,就这样被交到每个普通人手上。当然,这也得谢谢 Jev——新技术一旦突破,常常会把别的技术一起带起来。

还有一点,它把“数据得先处理、再存进库、然后才能检索”这条老规矩给破了。现在你的数据根本不用动,整个过程全自动😄。这让人想起老子在《道德经》里那句话:大道至简,少则得,多则惑。

SAG2 和 SAG Wiki 现在都已经全部开源,有需要的朋友不妨亲自上手试一试。这么🐂🍺的先锋开源项目,点个 Star 不过分吧?

我是袋鼠帝,一个致力于帮你把AI变成生产力的博主。我们下期见~

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. webAI开源TwIL-8B推理模型:数学编程见长,成绩压过Gemma 4 31B

    IT之家 11 月 6 日消息,专注于本地小型专业模型的人工智能实验室 webAI 当地时间本月 4 日推出了 TwIL-8B 推理模型。这一模型基于 IBM Granite-4.2-8B,针对数学、代码、指令跟踪工作负载进行优化,以其非商业许可协议开源。webAI 表示,TwIL-8B 在 MATH-500、AIME

    来源 腾讯网
  2. 淘宝MNN开源0.3B手机模型:iPhone 18 Pro离线解码350token/s

    IT之家 11 月 6 日消息,淘宝旗下 MNN 团队今日发布了 MNN-Pocket-0.3B 模型,面向手机应用的任务需求与资源预算,在有限算力、内存和能耗下,兼顾任务能力、响应速度与持续运行体验。围绕淘宝等综合型手机应用,团队将“手机应用原生大模型”落实为四个维度的设计目标:速度上,在指定设备与上下文配置下,解码

    来源 腾讯网
  3. 奇富科技开源ModelEvo 2.0:自动建模Agent新增自主搜索与经验复用

    【TechWeb】11月6日消息,尽日,奇富科技正式开源自动建模Agent ModelEvo 2.0。新版本面向结构化与表格数据,在标准化建模流程的基础上,进一步实现自主搜索、可信评估与跨任务经验积累复用。用户明确业务目标、提供建模样本与验证方案后,Agent可在给定预算内分析数据、规划实验并持续优化,对通过确认与交付

    来源 AI 行业观察
  4. 亚历山大·王:29岁Meta AI官,接班人传闻外的百亿朋友圈

    智东西(公众号:zhidxcom)作者 | 江宇编辑 | 云鹏一个由华尔街量化实习生组成的“硅谷新黑帮”,再次走入聚光灯下。智东西11月4日报道,近期,英国《金融时报》刊发了对Meta首席AI官、29岁华裔创业者亚历山大·王(Alexandr Wang)的人物报道,讨论了他在Meta内部的影响力,以及未来接替扎克伯格掌

    来源 腾讯网
  5. DeepSeek与GLM免费开放,黑客能力逼近OpenAI未公开模型

    据WIRED报道,一项模拟网络入侵实验显示,中国免费开放的AI模型DeepSeek与GLM在网络攻击技能上已逼近OpenAI最先进的网络安全模型,而后者并未公开。这一结果引发业界对开源模型“双刃剑”效应的担忧:能力越易获取,攻防之间的门槛就越模糊。

    来源 AI 科技快讯
  6. TML新模型Inkling 2 Small:非中最佳开放权重?

    11 月 5 日,OpenAI 前 CTO Mira Murati 创立的 Thinking Machines Lab(简称 TML)同一天出了两条新闻。 当天,公司发布了第二代模型 Inkling 2 Small,第三方评测机构 Artificial Analysis(AA)给的评价相当高:权重放出后,它将成为「中国

    来源 AI 行业观察
  7. 美股一夜蒸发2.8万亿,中国开源模型拿下美企89%支出

    今天凌晨,美股被血洗了。 纳斯达克指数暴跌5.52%,创下2025年4月以来最大单日跌幅,正式跌入技术性修正区间。费城半导体指数狂泻12.3%,这是2020年3月疫情崩盘以来最惨的一天。 英伟达跌9.26%,一天蒸发近4500亿美元市值;AMD跌17%,闪迪跌22%,博通跌10%。 从芯片、服务器、光模块到数据中心的电

    来源 AI 行业观察
  8. 淘宝MNN 团队开源 MNN-Pocket-0.3B,iPhone 18 Pro 离线解码飙升至 350 token/s

    人工智能端侧部署领域迎来重磅进展。淘宝旗下 MNN 团队正式宣布开源面向手机应用的轻量化大语言模型 —— MNN-Pocket-0.3B。该模型拥有约3亿参数,专为手机等移动设备的资源预算与任务需求量身打造,在极低的内存占用和能耗下,实现了媲美云端的高速响应与出色的综合任务能力。 极致轻量化设计:体积缩减近半,峰值内存

    来源 AI 开发者社区
  9. 腾讯轻量云开源LoopForge:云端自进化研发平台落地20+业务

    导 读 单机 Coding Agent 已经能飞快写出代码,但一旦走进真实研发团队,合盖断流、多人上下文割裂、自由 Vibe Coding 质量失控、日常盯单耗时以及同类问题反复踩坑,很快就会把团队卡在“单兵提效、全局内耗”的瓶颈里。为此,腾讯轻量云团队打造并开源了云端自进化 AI 研发平台 LoopForge——集

    来源 AI 行业观察
  10. 前谷歌工程师王咏刚:3万行代码AI包办,程序员饭碗先被砸

    曾任职谷歌的资深工程师王咏刚发表长文《永别了,程序员》,记录自己被 AI 编程"架空"的过程。今年 9 月,一位美国计算机老师找上门,想改进他六年前开源的 Altair 8800 计算机模拟器。 他把需求交给 Claude Opus 5.5,请它从系统设计层面给建议。结果 AI 不光做完原本的活,还主动提议补上汇编器、

    来源 AI 开发者社区
  11. 德朗格:P(Doom)近零,矛头转向封闭模型

    在 11 月 5 日迈阿密举行的 WIRED 世界博览会上,Hugging Face 首席执行官克莱门特·德朗格给那道著名的"末日算式"泼了冷水。他对自己口中导致人类灭绝的概率 P(Doom),给出的评估是"接近于零"。在一众创始人忙着渲染生存级威胁的当下,这位开源阵营的掌门人选择把话挑明:比起天启式想象,眼前更该盯紧

    来源 AI 开发者社区
  12. ToyBlocks:机器人学习为何离不开可控实验场?

    Allen AI 推出 ToyBlocks,一个基于桌面积木的仿真框架。它通过自动生成海量训练数据,帮助研究者拆解机器人“为什么失败”。文章分析了其在空间泛化、高层推理及虚实迁移上的表现,并开源了代码与数据集,旨在让机器人学习像生物实验一样可重复、可追溯。

    来源 AI 应用前沿
  13. Thinking Machines 二代模型用上 Kimi 数据,400亿估值背后藏了什么

    OpenAI前CTO创立的Thinking Machines Lab发布Inkling 2 Small,技术博客坦承采样自月之暗面Kimi K3。这款594B参数模型在长程任务上表现强劲,但编程能力仍落后于DeepSeek和Kimi旗舰版。文章解析其“为微调而生”的商业逻辑,以及中国开源模型如何成为硅谷巨头的数据源。

    来源 AI 应用前沿
  14. 门罗风投报告:美企开源AI支出,89%流向中国模型

    另一个原因在于,报告提到,开放权重模型为开发者提供了闭源模型难以给予的控制权,企业可以在此基础上进行后训练,使模型适配自身业务,以降低成本并减少对头部模型公司的依赖。

    来源 凤凰科技
  15. 29岁亚历山大·王与HRT实习旧友:一张合影串起480亿美元AI版图

    一个由华尔街量化实习生组成的“硅谷新黑帮”,再次走入聚光灯下。 智东西11月6日报道,近期,英国《金融时报》刊发了对Meta首席AI官、29岁华裔创业者亚历山大·王(Alexandr Wang)的人物报道,讨论了他在Meta内部的影响力,以及未来接替扎克伯格掌管这家科技巨头的可能性。 而接班人传闻出现两天后,亚历山大·

    来源 AI 行业观察
  16. OpenClaw上线Multiplayer:多人共用一个AI智能体,免费开源不绑模型

    OpenClaw基金会推出OpenClaw Multiplayer,允许多人连接同一个AI代理、共享工作区和上下文,并同时查看、修改同一任务。OpenClaw将其定位为解决各部门AI代理各自为政、上下文丢失和修改冲突的工具,通过共享队列协调请求;该功能免费开源、不绑定模型,已在其内部约50多人中使用。

    来源 凤凰科技
  17. ERNIE-5.5-Flash-Base开源:280B总参数,激活仅14B

    今天,我们发布 ERNIE-5.5-Flash-Base,开放 ERNIE 5.5 Flash 预训练终点的权重。 它是一个稀疏 MoE 语言模型,总参数 280B,每 token 激活 14B,在 33.5T tokens 上从零完成预训练;最长训练上下文为 128K,微调与推理支持 1M tokens 上下文。本次

    来源 AI 开发者社区
  18. Calibre 9.18上线:KOReader阅读进度互通,编辑器补无障碍

    IT之家 11 月 6 日消息,开源电子书管理器 Calibre 9.18 现已发布。本次更新为 Calibre 电子书编辑器新增无障碍工具,用户可设置整本书和各个 HTML 文件的语言、编辑图片替代文本,以及管理 EPUB 无障碍元数据。 IT之家了解到,本次更新新增了 KOReader 阅读进度同步。Calibre

    来源 AI 行业观察
  19. Hugging Face CEO:AI 末日概率近零,真正风险在闭门开发

    IT之家 11 月 6 日消息,当地时间昨日(11 月 5 日)在美国迈阿密举行的 WIRED 世界博览会上,开源 AI 平台 Hugging Face 首席执行官克莱门特 · 德朗格(Clément Delangue)表示,他对人工智能导致人类灭绝的概率(即 P (Doom))评估“接近于零”。 他认为,相比“AI

    来源 AI 行业观察
  20. 大晓机器人双脑协同:一次滑移如何变成可复用经验

    【TechWeb】11月6日消息,一次普通的取杯任务中,机器人找到水杯、规划接近方向,却在抬起时发生滑移;它调整接触位置,重新抓取并完成任务。对使用者而言,任务已经结束;但对持续学习的具身智能系统而言,真正值得追问的是:为什么滑?这次调整在什么条件下有效?换一只杯子、一副夹爪,甚至另一台机器人,这段经验还能否...

    来源 腾讯网
向下滚动自动加载更多