论文检索与文献获取流水线(Paper Retrieval Pipeline)
Overview
将一个论文题目转化为完整的「论文检索包」:多数据库检索 → 跨平台补充 → PDF 批量下载与索引 → 中文文献检索 → 引用规范化 → 文献综述 docx + 下载链接文档 →(可选)开题报告 docx。全流程串行推进,每一步都有明确的产物文件,最终按固定目录结构交付。
总原则:免费可下载优先
- 检索与筛选阶段即以"能否免费合法获取 PDF"为首要排序标准:优先收录 arXiv、PubMed Central、出版社 OA、Unpaywall 确认可免费下载的文献
- 付费文献仅在免费文献无法满足篇数配额时按"最必要"原则少量保留,且必须标注"付费"并给出 DOI 手动下载指引
- 不代抓付费库全文;绝不虚构或拼接下载链接
第 0 步:需求确认(必须先完成)
开始检索前,必须从用户处确认三项必填输入与两项可选输入。必填项(论文题目、年限、篇数)若用户消息中已含全部则直接进入下一步,否则用 AskUserQuestion 一次性问齐;可选项在同一次询问中一并带出:
- 论文题目/研究主题(必填)
- 参考文献年限范围(必填),例如"近 3 年 / 近 5 年 / 2020 年至今"。经典理论类文献可允许突破年限,但需用户确认
- 参考文献篇数(必填):英文 X 篇 + 中文 Y 篇。未指定时默认英文 10 篇 + 中文 5 篇
- 是否上传开题报告模板(可选):用户上传了模板文件(doc/docx/pdf 等)→ 最终交付 07_开题报告.docx;未上传模板 → 只生成文献综述,不生成开题报告
- 开题报告要求(可选):如字数、必填栏目、研究内容侧重、技术路线说明等。用户提供了要求 → 生成开题报告时逐条执行;未提供要求 → 默认严格按上传模板的结构与栏目填写(要求与模板冲突时以用户要求为准,并告知用户)
确认后,在工作目录下创建输出目录结构(目录名为 论文检索包_<主题短语>):
论文检索包_<主题短语>/
├── 01_多数据库检索结果.md
├── 02_跨平台补充文献.md
├── 03_PDF文献/ (PDF 原文件)
├── 03_元数据索引.md
├── 04_参考文献清单.md
├── 05_文献综述.docx
├── 06_文献下载链接.md
└── 07_开题报告.docx (可选:仅当用户上传了开题报告模板时生成)
从主题中提取 3-5 组检索关键词(含同义词、同位词、英文对应词与中文对应词),记录下来供后续各步骤复用。例如主题"基于深度学习的医学影像分割"→ 英文:deep learning medical image segmentation、CNN tumor segmentation;中文:深度学习 医学图像分割、神经网络 影像分割。
主流程(按顺序串行执行)
每个子步骤优先调用对应已安装 Skill;若该 Skill 未安装或调用失败,按各步骤给出的降级方案用内置能力(WebSearch / WebFetch / 免费 HTTP API / agent-browser)完成,不得中断流程。各数据库的 API 端点、免费渠道与反爬注意事项见 references/database-access.md;引用格式与综述写作规则见 references/citation-formats.md;各交付物文件模板在 assets/templates/。
步骤 1:多数据库学术检索(获取层)→ 01_多数据库检索结果.md
优先用 Skill「Academic Research Hub」;降级方案:Semantic Scholar Graph API + arXiv API + PubMed E-API(均为免费 HTTP API,用法见 references/database-access.md),Google Scholar 用 WebSearch 模拟检索。
要求:
- 按关键词组逐一检索,按年份范围过滤
- 每条记录采集:标题、作者、年份、期刊/会议、摘要、引用次数、DOI、来源库、PDF 链接(如有)
- 标注每条的获取类型(OA 免费 / arXiv / PMC / 付费),筛选排序时免费可下载的文献优先
- 影响因子仅在有可靠来源时填写,不得编造
- 优先收集英文文献(供英文篇数配额)
- 用 assets/templates/01_多数据库检索结果.md 模板输出,去重(按 DOI/标题归一化)
步骤 2:跨平台系统性文献检索(获取层)→ 02_跨平台补充文献.md
优先用 Skill「literature-search」;降级方案:IEEE Xplore / ACM DL / Scopus / WoS 无开放 API 时,用 WebSearch 检索 IEEE <关键词> paper、ACM <关键词> proceedings 等组合定位文献条目,并标注"来源:web 检索,需人工核对"。
要求:
- 目标是补充步骤 1 未覆盖的库(IEEE、ACM、Scopus、WoS)
- 同时获取每篇核心文献的引用列表(references)与被引(citations)推荐,Semantic Scholar API 可直接取 references / citations 端点
- 标记关键论文(高被引、或综述性论文)
- 同样执行"免费可下载优先"的筛选排序
- 用 assets/templates/02_跨平台补充文献.md 模板输出
步骤 3:文献批量下载与索引(分析层)→ 03_PDF文献/ + 03_元数据索引.md
优先用 Skill「deepxiv-cli」;降级方案:运行本技能自带脚本 scripts/batch_download.py(详见该脚本头部说明,基于 arXiv / PubMed Central / Unpaywall 免费渠道)。
要求:
- 只走官方免费渠道:arXiv、PubMed Central、出版社 OA 链接、Unpaywall
- 下载失败/付费文献:在索引中标注"付费,需手动下载",并给出 DOI 链接供用户自行合规获取,不代抓付费库
- 每个成功下载的 PDF 生成元数据记录:标题/作者/年份/期刊/DOI/文件名/下载渠道
- 用 assets/templates/03_元数据索引.md 模板输出结构化索引清单
- PDF 命名规则:[序号]_[第一作者]_[年份]_[标题简写].pdf
- 若免费下载失败导致某文献无法使用,回退到步骤 1/2 换用同类免费文献补足配额
步骤 4:中文文献检索(获取层,汇入参考文献清单)
优先用 Skill「知网高级检索」+ agent-browser 自动化;降级方案:用 WebSearch 检索 site:cnki.net <中文关键词>,并在结果中标注"渠道受限,结果可能不全"。知网高级检索入口:https://kns.cnki.net/kns8s/defaultresult/index,操作要点见 references/database-access.md。
要求:
- 高级检索:学术期刊类别、勾选 CSSCI 来源期刊、年限过滤
- 中文关键词含同义词/同位词,多组用 OR 连接
- 仅收录核心期刊(CSSCI/CSCD/北大核心),满足中文篇数配额
- 优先选择知网页面标示为免费/OA 可下载的文献;付费文献按总原则少量保留
- 每条采集:标题、作者、期刊名、年份、卷期页码、被引次数、知网链接、可否下载
- 本步骤结果不单独成文件,直接汇入步骤 5 的参考文献清单与后续综述/下载链接文档
步骤 5:引用管理与规范化(输出层)→ 04_参考文献清单.md
优先用 Skill「Academic Citation Manager」;降级方案:手工按 references/citation-formats.md 的格式规则整理。
要求:
- 汇总步骤 1/2/4 的文献,去重后按引用顺序编号(综述中出现的顺序)
- 默认格式 GB/T 7714-2015(中文用户默认),用户可指定 APA/MLA/Chicago
- 校验完整性:每条必须有 作者、标题、年份、来源;DOI/页码缺失时标注 [待补全] 而非编造
- 真实性红线:只收录检索过程中实际确认存在的文献;任何无法核实的条目一律删除,不得虚构
- 可获取性标注:每条注明"免费可下载(含本地 PDF 文件名)"或"付费(手动下载指引)",免费优先
- 用 assets/templates/04_参考文献清单.md 模板输出
步骤 6:开题报告生成(输出层,可选)→ 07_开题报告.docx
前置条件判断(必须最先执行):
- 用户上传了开题报告模板 → 进入本步骤
- 用户未上传模板 → 跳过本步骤,只交付文献综述,并在交付说明中告知用户"如需开题报告,请上传学校/院系的开题报告模板"
执行规则:
1. 解析模板:读取用户模板文件(doc/docx 用 tencent-local-office-edit / tencent-docx skill,pdf 用 pdf skill),提取其章节结构、表格、占位符(如"一、选题背景与意义""二、国内外研究现状""三、研究内容与方法""四、进度安排""五、参考文献"等)与格式要求(字体、字号、页边距如有说明)
2. 严格按模板填写:生成的开题报告必须与模板的章节标题、栏目顺序、表格结构完全一致,不得自行增删章节、调整顺序或改变格式;模板中的说明性/示例文字按模板自身要求替换或保留
3. 内容来源:选题背景与国内外研究现状可直接复用文献综述内容(引用规则与综述完全一致:一句一引、上标、顺序 [1]…[N]、不重复引用、国内在前国外在后——若模板栏目本身要求国外在前,则以模板为准);研究内容/技术路线/进度安排基于用户论文题目与已有文献合理撰写,涉及实验方案的须与用户确认或标注"待与导师确认"
4. 用户要求优先:用户输入了开题报告要求(字数、栏目侧重等)时逐条执行,与模板冲突时以用户要求为准并说明
5. 参考文献:开题报告末尾的参考文献列表直接复用 04_参考文献清单.md(格式按模板要求,默认 GB/T 7714-2015)
6. 生成方式:优先用 tencent-local-office-edit 直接在用户模板文件副本上填写(最大程度保留原格式);不可用时按模板结构用 tencent-docs / tencent-docx 重建并对照校验章节一致性。转出后逐栏核对:章节标题与模板一致、占位符全部填写、无模板残留说明文字
最终交付(整合为论文检索包)
05_文献综述.docx(核心交付物)
写作规则(硬性约束,详见 references/citation-formats.md):
- 一句一引:一句话最多出现一处引用标注,用 [文献序号] 上标标注(如:……方法已被广泛验证<sup>[3]</sup>。)
- 顺序引用:引用序号严格按正文出现顺序递增,全文引用依次为 [1]、[2]、[3]……不得跳号、不得回引已用过的序号
- 不重复引用:每篇文献全篇只被引用一次,写完综述后逐句核对:引用序号连续无跳号、无任何序号出现两次
- 综述正文句数与文献篇数对应:每篇文献对应 1-3 句综述,句子按编号顺序依次展开
- 结构顺序:研究背景 → 国内研究现状 → 国外研究现状 → 研究述评(总结已有工作不足、引出本文方向;述评段不引用文献)
- 生成方式:先写 05_文献综述.md,再调用 tencent-docs / tencent-docx skill 转为 docx,确保上标格式保留;若转换环境不可用,交付 md 并说明
06_文献下载链接.md
- 每条文献给出真实可访问的下载链接:DOI 官方链接、出版社 OA 链接、arXiv/PMC 链接、知网链接
- 已下载 PDF 的标注本地文件名;付费的标注"付费,手动下载指引"
- 链接必须来自检索过程中实际获得的 URL,不得拼接猜测
交付与展示
- 校验交付清单:各文件齐全、上下标格式正确、国内现状在先国外现状在后;引用标注依次为 [1]…[N] 连续、无跳号、无回引、无重复引用,04_参考文献清单.md 序号与综述一致;若生成了 07_开题报告.docx,另须校验其章节结构与用户模板完全一致、无占位符残留
- 用 present_files 一次性呈现:有开题报告时 07_开题报告.docx 排第一,否则 05_文献综述.docx 排第一;随后为 04_参考文献清单.md + 06_文献下载链接.md + 03_元数据索引.md 及其余文件
- 在回复中汇总:各步骤命中的数据库、实际获取的英文/中文篇数 vs 目标篇数、免费下载成功数、是否生成开题报告及依据(用户模板/用户要求)、未能覆盖项及原因
失败与降级总原则
- 单个数据库失败不阻断流程:跳过并在对应输出文件标注"该库检索失败/受限"
- 全部免费渠道拿不到 PDF 时,宁可交付元数据 + 手动下载指引,不使用盗版渠道代抓
- 配额不足(如中文核心仅找到 3/5 篇):扩大同义词、放宽年份后重试一次,仍不足则如实报告并交付已有结果
- 所有"影响因子、引用次数"类数据须注明采集日期与来源
- 开题报告模板无法解析(如扫描版 pdf、加密文件)时,请用户重新提供可编辑版本(doc/docx);不得脱离模板自行虚构格式生成开题报告
Resources
scripts/
batch_download.py— 从 arXiv / PubMed Central / Unpaywall 批量下载 PDF 并生成元数据 JSON/Markdown 索引(步骤 3 的降级实现,无需 API key)
references/
database-access.md— 各学术数据库的 API 端点、参数、限流与免费获取渠道说明citation-formats.md— GB/T 7714-2015 / APA 条目模板,综述写作与上标引用规则(国内先、国外后)
assets/templates/
01_多数据库检索结果.md、02_跨平台补充文献.md、03_元数据索引.md、04_参考文献清单.md、05_文献综述.md、06_文献下载链接.md— 各交付物模板,按步骤复制到输出目录后填充- 开题报告无内置模板:必须使用用户上传的模板文件,严格按其结构与格式填写(见步骤 6);用户未上传模板时不生成开题报告