万象 (wanxiang-rag-app) · 企业 RAG 智能问答应用
一、定位
万象 是 LLM 应用开发(RAG)skill。把"企业知识库问答"从"直接喂大模型"升级为
检索增强生成(RAG) 的工程闭环,重点解决四个问题:
- 知识时效与私有化:企业私有知识大模型没见过,须外挂检索。
- 幻觉控制:答案必须可溯源、可标注引用,答不出就说不。
- 检索质量:关键词检索不够,须向量检索 + 混合检索 + 重排序。
- 效果可评测:用评测集量化回答质量,不靠"感觉还行"。
二、何时使用
- RAG / 知识库问答 / 智能问答 / 智能客服
- 向量检索 / 语义检索 / 检索增强生成
- LLM 应用 / 大模型应用 / 私有知识问答
- 幻觉控制 / 答案溯源 / 引用标注
- embedding / 向量数据库 / 文档问答
三、前置信息
| 输入 | 说明 | 缺失时 |
|---|---|---|
| 知识来源 | 文档类型与规模(PDF/Word/网页/数据库) | 问一个阻塞性问题 |
| 应用形态 | 问答 / 客服 / 助手 / 报告生成 | 默认问答 |
| 技术栈偏好 | 向量库/框架(可选) | 默认给通用方案 |
| 评测要求 | 是否有评测集 / 需多少准确率 | 默认构建最小评测集 |
四、工作流(agent 执行)
步骤 1 知识整理 : 盘点文档,做清洗(去噪、OCR、结构化),按语义切分 chunk(控制粒度)。
步骤 2 索引构建 : 选向量化模型做 embedding,写入向量库(含原文 + 元数据),建索引。
步骤 3 检索设计 : 实现混合检索(关键词 BM25 + 向量),加重排序(rerank),设召回 top-k。
步骤 4 生成编排 : 设计提示词模板(角色 + 检索上下文 + 强制引用),
答不出时触发拒答而非编造,答案附来源引用。
步骤 5 效果评测 : 建评测集(问答对),用忠实度/相关性/回答率指标评测,
命中率低则回退调 chunk/检索/提示词。
步骤 6 交付 : 输出可运行的最小 RAG 方案(代码/配置)+ 评测报告。
五、RAG 质量五要点(必守)
- 切分粒度:chunk 与知识粒度匹配(条款/段落/章节),过粗过细都伤检索。
- 混合检索:纯向量检索易漏精确词(如工号、法规编号),须叠加关键词检索。
- 重排序:召回 top-k 后 rerank,把最相关片段排前面,显著提升命中率。
- 强制溯源:生成必须引用来源片段,无依据内容禁止编造。
- 拒答机制:检索相关性低时明确"未找到依据",而非硬答。
六、质量门控
- 必须有评测集与量化指标,禁止"我觉得效果不错"。
- 答案必须可溯源(引用文档/片段),无法溯源的内容不得进入最终答案。
- 隐私:企业私有数据不得上传第三方公共模型(默认本地/合规部署),须显式声明数据流向。
七、输出格式
# RAG 应用方案
应用形态 / 知识来源与规模 / 技术选型
## 知识处理与索引方案
## 检索与生成设计(含提示词模板)
## 最小可运行实现(代码/配置)
## 评测报告(指标:命中率/忠实度/回答率)
## 风险与优化建议(幻觉/隐私/成本)
八、目录
references/rag-architecture.md— RAG 架构与组件选型references/chunking-strategy.md— 文档切分策略references/evaluation.md— RAG 评测指标与方法(RAGAS 等)
九、免责声明
大模型应用效果依赖数据质量与模型能力,本 skill 提供方法论与工程方案,不保证特定准确率。
涉企业数据须遵守数据安全与隐私合规要求。