llamaindex是什么

入门与上手

用大白话讲清 LlamaIndex 是干什么的、和 LangChain 有什么分工,以及搭一个最小 RAG 流程要经过哪几步。

看 RAG 教程时经常撞见 LlamaIndex,文档又厚又绕,看完还是不知道它到底替我们干了什么活。这篇不堆概念,只回答三件事:它负责哪一段、什么时候不该用它、从零跑通一个问答流程要按什么顺序动手。

看 RAG 教程时经常撞见 LlamaIndex,文档又厚又绕,看完还是不知道它到底替我们干了什么活。简单说,它是一套帮你把「文档变可检索、检索结果再喂给模型」这条流水线写短的 Python 库。你不用自己写切块循环、向量化调用、相似度检索和提示词拼装,它把这几步收成了几个对象。

这篇文章不堆概念,只回答三件事:它负责哪一段、什么时候不该用它、从零跑通一个问答流程要按什么顺序动手。如果你正在搭文档问答、内部知识库这类东西,下面这套判断标准可以直接拿去用。

它到底替你干了哪几件事

把「文档切块、转向量、存向量库、按问题检索、拼进提示词」这一串固定动作封装成几行调用,你不用自己写循环。核心抽象就两个:索引和查询引擎。数据先建成索引,再用查询引擎把检索结果和问题一起交给模型。

索引(Index)
把原始文档处理成可被检索的结构,常见是向量索引,也可能带关键词或树状结构
查询引擎(Query Engine)
接收你的问题,去索引里捞相关片段,拼成提示词再发给生成模型
节点(Node)
切块之后的片段单位,索引和检索都是围绕节点在跑
加载器(Reader)
把本地文件、网页、数据库等不同来源读成统一文档格式的入口

它管的是取料和拼装,不管模型本身怎么训、也不管你的业务逻辑怎么写。换句话说,它是流水线中间那段,前面接数据源、后面接模型和你的应用代码,两头的事它不替你决定。

和 LangChain 的分工,以及什么时候别用它

两者经常被拿来比,但定位不完全重合。偏检索问答、文档理解这类任务,LlamaIndex 的默认路径更短,开箱就能跑;要串多步工具调用和复杂流程编排,LangChain 的生态更宽。判断标准可以看你的核心难点是在「取料」还是在「编排」。

你的情况更省事的选择
主要做文档问答、知识库检索LlamaIndex 的默认路径更短
要串多个工具、多步决策流程另一类编排框架生态更宽
两边都占,检索重编排也重检索层用 LlamaIndex,编排层用另一套
数据源极简单,就一张表几十条记录直接写几行检索代码更快
  • 数据源极简单(比如就一张表、几十条记录)时,直接写几行检索代码更快,引框架反而增加调试成本。
  • 需要精细控制切块策略或检索排序时,框架的默认行为可能不合口味,得先确认它留没留自定义入口,没留就得换路子。
  • 两者并非二选一,实践中常见做法是检索层用 LlamaIndex、编排层用另一套,接口对得上就行。
  • 如果你的团队没人熟悉这套抽象,维护成本会转嫁到后来接手的人身上,这点要在选型时算进去。

跑通一个最小流程的顺序

别一上来就把所有数据源都接上,按下面顺序一步步来,每一步都能单独验证。顺序错了,后面出问题你会分不清是哪一环的锅。

  1. 定数据源本地文件、网页还是数据库,先只挑一种。跑通后再扩,扩的时候一次加一种,方便定位。
  2. 切块块太小丢上下文,太大检索命中率下降。从中间值起步,用你的真实问题试,看命中的片段够不够回答。
  3. 选嵌入模型并建索引模型能力和语种要跟你的资料匹配。中文资料用中文表现好的模型,别默认拿英文场景的配置直接套。
  4. 接生成模型用查询引擎把检索结果和问题拼好发出去,先跑通再谈优化。这一步要能打出实际发给模型的提示词,方便排查。
  5. 拿真实问题试十几条重点看答不出来是没检索到,还是检索到了没答对。这两类问题的改法完全不同:前者动切块和嵌入,后者动提示词和生成模型。

新手最容易踩的几个坑

这些坑跟你用什么框架关系不大,但引了框架之后,问题表现会更隐蔽,所以更要提前知道往哪看。

  • 把索引当成一次性的:资料更新后要重建或增量刷新,否则答案永远停在上传那天。上线前先想清楚刷新触发方式。
  • 检索命中率差却先去怪模型,实际多半是切块和嵌入模型的问题。排查顺序应该是先看检索回来的片段对不对。
  • 忽略 token 消耗:每问一次都要把检索到的片段塞进上下文,用量可以到 Token 单价换算(/tools/token-price-calculator) 估一遍再上线,别等账单来了才发现。
  • 没有兜底话术:检索不到内容时模型容易硬编,应该明确要求「没找到就说没找到」,并在提示词里写死这条规则。
下一步选型阶段建议先去站内把各家模型和中转渠道的当时报价、可信度记录核对一遍,再决定嵌入和生成分别用哪家。

常见问题

LlamaIndex 和 LangChain 必须选一个吗?

不用。它们解决的重叠部分主要是数据加载和检索,你完全可以在检索这段用 LlamaIndex,流程编排换别的方式,或者只用其中一家的某个模块。选型时看你的任务是「以检索问答为主」还是「以多步流程为主」,前者上手更快,后者扩展更顺。

不装框架,自己写检索行不行?

小数据量完全可以,几百条文本自己写嵌入和相似度排序代码量并不大,出问题也更好查。数据源一多、要处理多种格式和增量更新时,框架省下的胶水代码才开始划算。判断标准是:你花在数据管道上的时间是否已经超过写业务逻辑。

用它搭 RAG 要额外准备什么?

主要是三样:一个能调嵌入模型的接口、一个能调生成模型的接口、以及存放向量的地方。向量库可选站内 向量数据库目录(/stacks/vector-dbs) 里列出的方案,本地小规模先用轻量的即可。接口和额度这块参考站内 API 平台目录(/ai-nav/category/ai-api) 对比后再定。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。