幻觉判定
输入上下文与待检回答,输出该回答是否被上下文支持、哪些部分缺乏依据,用于给生成结果做自动质检。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
面向幻觉检测的开源评估模型,专为给模型回答挑错而生。
官网地址 https://huggingface.co/PatronusAI/Llama-3-Patronus-Lynx-8B-Instruct-v1.1
Llama-3-Patronus-Lynx-8B-Instruct-v1.1 是 PatronusAI 发布的开源幻觉评估模型,基于 Llama-3 指令微调而来,主打判断一段回答是否忠于给定上下文。它面向做 RAG、问答系统和模型评测的开发者,可以本地部署、自己掌控推理流程,而不是把评测结果交给闭源接口。它的长处在于幻觉检测这个垂直任务上专门训练过,接入现有评测流水线比较直接;短板是它只做判定,不生成答案,也不自带数据标注、可视化看板这类配套工具,通用对话能力也弱于同规模的通用模型。
Llama-3-Patronus-Lynx-8B-Instruct-v1.1 是 PatronusAI 推出的开源模型,定位是幻觉评估器而非通用助手。它的工作方式是把「上下文 + 模型回答」一起喂进去,由模型判断这段回答里哪些内容在上下文中找不到支撑,从而给 RAG 或问答系统做自动质检。
它基于 Llama-3 的指令版本微调,参数规模属于单卡可跑的量级,因此常见的用法是本地部署或私有环境部署,让评测环节不依赖外部 API。输入输出走的是对话格式,接入时按指令模板组织上下文与待检回答即可。
不同角色的用法差别明显:算法工程师把它当作评测流水线里的一个判定节点,批量跑数据集;做 RAG 的团队用它定位检索段落和生成答案之间的不一致;研究人员则更关注它在幻觉判定任务上的表现和可复现性。
输入上下文与待检回答,输出该回答是否被上下文支持、哪些部分缺乏依据,用于给生成结果做自动质检。
以对话指令形式调用,按模型的提示模板组织上下文与问题,适合批量脚本化调用而不是人工逐条交互。
模型权重开放,可下载到自有环境运行,评测数据和被检文本不需要离开内网,适合对数据外流敏感的团队。
输出为可解析的判定结果,便于接进已有的回归测试或持续评测脚本,对每次模型或提示词改动做一致性检查。
训练目标贴近检索增强生成的常见错误形态,判断检索段落能否支撑生成答案,适合定位检索与生成之间的脱节。
需要在检索与生成之间加一道自动质检,判断答案有没有脱离检索到的文档,这类场景是它的主战场。
要把幻觉率纳入回归测试指标,用它当流水线里的判定节点,输出可脚本化解析、便于批量和复现。
被检文本不能出内网,需要私有化部署评测模型,权重开放这一条直接决定了它可用。
它不是通用助手,写作、翻译、闲聊这类需求用它会明显不如同规模的通用指令模型顺手。
它只提供模型本身,标注界面、看板、数据集管理都要自己搭,想省掉这部分工作的人会失望。
不是。它的定位是评估器,输入上下文和一段回答,输出这段回答有没有脱离上下文。要生成答案得另配一个生成模型,它负责在后面挑错。
按模型自带的指令模板把上下文和待检回答拼成对话输入,批量调用后在脚本里解析判定结果。把解码参数固定下来,每次模型或提示词改动跑同一批数据做对比。
权重是开放的,可以下载到自有环境运行,被检文本和评测数据不用发到外部接口,这是它在数据敏感场景里最主要的价值。
会。上下文拉得太长时判定质量容易下滑,常见做法是先把检索结果压缩或截取到最相关的片段,再送进模型做判断,而不是把整篇文档塞进去。
当参考而不是定论。模型判定本身有误判方向,建议先拿人工标注过的一批数据比对,摸清它在你们领域偏向漏判还是误判,再决定怎么用它的输出。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Llama-3-Patronus-Lynx-8B-Instruct-v1.1本工具 | 4.2 | 未标价 | 幻觉判定;指令格式交互;本地私有部署;接入评测流水线 | — |
| Llama-3-Patronus-Lynx-8B-Instruct | — | 未标价 | 开源幻觉评估模型 | API |
| Patronus GLIDER | — | 未标价 | 用于评估文本、对话和 RAG 设置的通用评估模型 | — |
| SFR-Judge | — | 未标价 | 加速模型评估和微调的智能评估工具 | — |
| C-Eval | — | 官网未公开定价信息 | C-Eval 是一个适用于大语言模型的多层次多学科中文评估套件 | Web |
| H2O EvalGPT | — | 未标价 | H2O Eval Studio 是一款用于评估检索增强生成和大语言模型应用的模块化工作室 | Web |