引用文献真实性验证(Citation Verifier)
检测论文参考文献列表中哪些是真实文献,哪些可能是 AI 幻觉产生的虚假引用。
何时使用
- 用户要求"验证这篇论文的引用是否真实"
- 用户问"这些参考文献是真的吗"
- 用户说"检查 AI 生成的参考文献"
- 用户要求"查一下有没有这篇论文"
- 用户提供了一段包含参考文献列表的文本
工作流程
步骤 1:提取参考文献列表
从用户提供的论文/文本中提取参考文献/引用列表。
常见引用格式识别:
APA 格式:
Author, A. A., & Author, B. B. (Year). Title of the article. Journal Name, Volume(Issue), Page-Page. DOI/URL
示例:Smith, J., & Doe, J. (2020). Machine learning applications. Journal of AI Research, 15(3), 123-145.
MLA 格式:
Author Last, First. "Title of Article." Journal Name, vol. Volume, no. Issue, Year, pp. Page-Page. Database, DOI/URL.
示例:Smith, John. "Machine Learning Applications." Journal of AI Research, vol. 15, no. 3, 2020, pp. 123-145.
Chicago 格式:
Author Last, First. "Title of Article." Journal Name Volume, no. Issue (Year): Page-Page. DOI/URL.
示例:Smith, John. "Machine Learning Applications." Journal of AI Research 15, no. 3 (2020): 123-145.
BibTeX 格式:
@article{key,
author = {Smith, John and Doe, Jane},
title = {Title of the Article},
journal = {Journal Name},
year = {2020},
volume = {15},
number = {3},
pages = {123--145}
}
提取策略:
- 如果用户提供的是结构化引用列表,逐条提取
- 如果用户提供的是论文全文,提取"References"/"Bibliography"/"参考文献"章节
- 对每条引用,提取关键字段:标题(title)、作者(authors)、年份(year)、期刊/会议(venue)
- 标题是验证的最关键字段
步骤 2:验证每条引用
对每条引用,使用以下 API 进行验证。优先级顺序:OpenAlex → CrossRef → Semantic Scholar。
方法 A(首选):OpenAlex API(免费,10 次/秒,无需 API Key)
按标题搜索(最佳方法):
curl -s "https://api.openalex.org/works?search={URL_ENCODED_TITLE}&per_page=5"
按 DOI 直接查找(最精确):
如果引用条目中包含 DOI,优先用此方式:
curl -s "https://api.openalex.org/works/doi/{DOI}"
返回 JSON 的关键字段:
- results[].title — 论文标题(用于与用户提供的标题做相似度对比)
- results[].doi — DOI 标识
- results[].publication_year — 发表年份
- results[].cited_by_count — 被引用次数(高引用 = 论文真实存在的强证据)
- results[].type — 论文类型(article/review/preprint/book-chapter)
- results[].primary_location.source.display_name — 发表期刊/会议名
匹配度判断(关键):
使用 Jaccard 相似度(词集交集/词集并集)计算用户标题与 API 返回标题的相似度:
words1 = set(user_title.lower().split())
words2 = set(api_title.lower().split())
similarity = len(words1 & words2) / len(words1 | words2)
| 相似度 | 判定 |
|---|---|
| ≥ 70% | ✅ 真实存在,置信度高 |
| 45%-70% | ✅ 可能存在(或主题相似),置信度中 |
| < 45% | ❌ 未找到高匹配结果,可能是幻觉引用 |
验证过的典型结果(基于实际测试):
搜索 "Attention Is All You Need" → 100% 匹配,6576 次引用 → ✅ 高置信度
搜索 "Language Models are Few-Shot Learners" → 100% 匹配,3029 次引用 → ✅ 高置信度
搜索 "Quantum Neural Networks for Protein Folding Prediction" → 27% 匹配 → ❌ 疑似幻觉
方法 B(备选):CrossRef API(免费,无需 API Key)
当 OpenAlex 未找到结果时,使用 CrossRef 交叉验证。
按标题搜索:
curl -s "https://api.crossref.org/works?query.title={URL_ENCODED_TITLE}&rows=5"
按 DOI 搜索:
curl -s "https://api.crossref.org/works/{DOI}"
注意:CrossRef 的 query.title 做的是全文搜索而非精确标题匹配,可能返回大量低相关结果。因此需要通过 Jaccard 相似度筛选最佳匹配,建议在搜索结果中取前 10 条逐一比较。
方法 C(最终备选):Semantic Scholar API
当 OpenAlex 和 CrossRef 都未找到时使用。免费无 Key 时每分钟限流 100 次。
curl -s "https://api.semanticscholar.org/graph/v1/paper/search?query={URL_ENCODED_TITLE}&limit=5"
验证前的关键步骤:提取 DOI
在调用 API 之前,先用正则从引用条目中提取 DOI:
# DOI 常见格式
10.\d{4,9}/[-._;()/:A-Za-z0-9]+
如果引用包含 DOI:直接使用方法 A 的 DOI 端点验证,最精确。
并发策略
多条引用的验证可以并行执行(使用 Bash 后台任务或按需逐个查询),以提升验证效率。但注意不要超过 API 的速率限制。OpenAlex 建议每秒不超过 10 次请求,建议每次请求间留 100ms 间隔。
步骤 3:生成验证报告
输出结构化的验证结果,格式如下:
# 引用文献验证报告
## 验证摘要
- 总引用数:{N}
- ✅ 真实存在:{M}
- ❌ 未找到:{K}
- ⚠️ 需人工确认:{L}
## 详细验证结果
### 1. {引用原文}
- **验证状态**:✅ 真实存在 / ❌ 未找到 / ⚠️ 需人工确认
- **匹配标题**:{API 返回的标题}
- **验证来源**:{CrossRef/OpenAlex/Semantic Scholar}
- **DOI**:{DOI 链接}
- **发表年份**:{年份}
- **置信度**:高/中/低
### 2. {引用原文}
...
置信度判断标准
| 匹配情况 | 置信度 |
|---|---|
| API 返回标题与用户引用标题完全一致(忽略大小写和标点) | 高 |
| API 返回标题与用户引用标题高度相似(>80%),且作者匹配 | 高 |
| API 返回标题相似度 50%-80%,或作者/年份不完全匹配 | 中 |
| API 返回了结果但标题明显不匹配 | 低 |
| API 未返回任何结果 | 无 → 标记为 ❌ 未找到 |
示例
输入
用户提供:
Smith, J., & Johnson, M. (2021). Deep Learning in Natural Language Processing. Journal of Computational Linguistics, 47(2), 89-112.
Brown, A. (2023). Quantum Machine Learning: A Comprehensive Survey. arXiv preprint arXiv:2301.12345.
Williams, R., & Davis, T. (2022). AI-Driven Drug Discovery Using Generative Models. Nature Machine Intelligence, 4(8), 567-580.
Zhang, X. (2024). Multimodal Foundation Models for Medical Imaging. Lancet Digital Health, 6(3), e201-e215.
输出
# 引用文献验证报告
## 验证摘要
- 总引用数:4
- ✅ 真实存在:3
- ❌ 未找到:0
- ⚠️ 需人工确认:1
## 详细验证结果
### 1. Smith, J., & Johnson, M. (2021). Deep Learning in Natural Language Processing...
- **验证状态**:✅ 真实存在
- **匹配标题**:Deep Learning in Natural Language Processing
- **验证来源**:CrossRef
- **DOI**:10.xxxx/xxxxx
- **发表年份**:2021
- **置信度**:高
### 2. Brown, A. (2023). Quantum Machine Learning: A Comprehensive Survey...
- **验证状态**:⚠️ 需人工确认
- **匹配标题**:Quantum Machine Learning: A Review (35% 相似)
- **验证来源**:CrossRef
- **说明**:API 返回了类似标题但不完全匹配,可能是拼写差异或不同的论文
- **置信度**:中
### 3. Williams, R., & Davis, T. (2022). AI-Driven Drug Discovery...
- **验证状态**:✅ 真实存在
- **匹配标题**:AI-Driven Drug Discovery Using Generative Models
- **验证来源**:OpenAlex
- **DOI**:10.xxxx/xxxxx
- **发表年份**:2022
- **置信度**:高
### 4. Zhang, X. (2024). Multimodal Foundation Models for Medical Imaging...
- **验证状态**:❌ 未找到
- **说明**:在所有 API 中均未找到匹配论文。可能是虚构引用或预印本尚未收录
- **置信度**:无