用模型写报告、查资料、填表格,最怕它一本正经地编:数字、法规条款、人名看着像真的,一核对全对不上。这篇不聊玄学,从下一词预测、上下文、检索这几件事讲清幻觉和精确性各是怎么来的,再给一套判断标准:哪些任务可以信、哪些必须核、核到什么程度,以及怎么用提示词和流程把出错率压下来。
用模型写报告、查资料、填表格,最怕它一本正经地编:数字、法规条款、人名看着像真的,一核对全对不上。这不是模型「坏了」,而是它的工作方式和我们的期待本来就不一样。这篇不聊玄学,从下一词预测、上下文、检索这几件事讲清幻觉和精确性各是怎么来的。
讲完原理再给一套能直接用的判断标准:哪些任务可以信、哪些必须核、核到什么程度,以及怎么用提示词和流程把出错率压下来。原则很简单——先分清任务风险档,再决定花多少力气核对,别指望换个提示词就一劳永逸。
先搞明白:模型每一步只是在猜下一个词
生成过程就是按概率挑下一个词,一个接一个往下接。概率高只代表这个说法在语料里常见、跟着上文接得顺,不代表它事实对。语言通顺和内容真实是两套标准,模型优化的是前者,所以编造和真话在输出形式上没有任何区别,都是流畅、自信、格式规整的一段话。
这也是为什么你越追问它越「圆」,因为它补的是最像答案的说法,不是去查证。温度、采样这类参数只影响随机性,调低能让输出更收敛、少跑偏,但改变不了模型到底知不知道这件事。指望降温度消除编造,等于指望关小水龙头修漏水。
| 现象 | 背后在发生什么 | 该怎么应对 |
|---|---|---|
| 细节很具体但对不上 | 按上下文补了一个最像的填法 | 关键字段回原文逐条核 |
| 同一问题两次答案不同 | 采样随机性导致选词不同 | 固定字段和表述,多跑几次对照 |
| 被追问后改口 | 顺着你的语气补新说法 | 别用引导式追问,直接给原文让它对照 |
| 格式漂亮内容空 | 优化目标是像样文本,不是可验证真相 | 把任务改成填表式,输入里给全要素 |
精确性的三个来源:训练里见过、上下文里给了、或者根本没有
模型的精确性基本来自三处:训练数据里反复出现过的、你在上下文里明确给出的、以及它其实没有的。前两种可以用,第三种最危险——数据没覆盖、过时或有错时,模型不会报错,只会顺着上下文补一个最像答案的说法,而且语气和真答案一样笃定。判断一个任务靠不靠谱,先问自己:这件事的答案在我给的材料里吗,还是指望它「记得」?
上下文里给了原文,精确性主要看它有没有认真对齐。材料越长越要核对有没有串行、漏读、把两段拼成一段。结构化任务——格式转换、摘要、改写——精确性明显高于开放事实问答,因为答案被输入框住了,可发挥空间小。反过来,开放问答里它必须自己「填」,出编的概率就高。
- 答案完全在给的原文里:可信度较高,但仍要抽样核对关键句
- 答案需要模型自己回忆:默认不可信,必须找原始来源
- 答案部分来自原文、部分来自补充:把补充部分单独挑出来核
- 材料里有互相矛盾的说法:要求它列出冲突点,不要自己选一个
- 材料根本没涉及:让它明说没有,比让它猜更值钱
能靠上下文解决的事,别交给记忆;能靠结构化输出框住的事,别让它自由发挥。
检索和工具调用把「凭记忆」换成「看材料」
外挂知识库、联网搜索、函数调用,本质都是把答案来源从参数记忆挪到可核查的外部文本。方向是对的,但不是一接就灵。要看引用是否真的指向原文:检索命中了但模型没采信、或者采信了不相关段落,都会照样出错。引用格式漂亮不代表性内容对,得点进去看那一句是不是真在原文里。
工具返回的也可能是脏数据,链路越长越要在中间加校验。比如查价格、查库存、查状态这类实时数据,中间任何一跳出错,最后一步都会把错数说得很有底气。所以凡是接了工具的任务,校验点要放在工具返回值上,而不是只看最终答案像不像。
- 先确认有没有检索问清楚这次回答是基于联网、知识库还是纯记忆;纯记忆的高风险事实题直接不要采信。
- 抽查引用随机挑两三条引用回到原文看,重点核数字、专有名词、条款号是否一字不差。
- 检查检索质量看命中的段落是不是真跟问题相关;不相关段落被采信,比没检索到更隐蔽。
- 在中间加校验工具返回后先做字段和范围检查,再让它组织语言,别让脏数据一路走到最后。
判断标准:按任务分三档,先定能不能信
与其争论「这个模型准不准」,不如按任务分档,先定这件事错了代价多大、要花多少力气核。分档之后再选模型、写提示词、定流程,方向就不会错。下面这张表可以直接照着给团队里的任务贴标签。
| 档位 | 典型任务 | 判断标准 | 核对动作 |
|---|---|---|---|
| 低风险 | 改写、翻译、格式整理、头脑风暴 | 错了成本低,改一下就行 | 边用边看,不必逐条核 |
| 中风险 | 带原文的摘要、归纳、代码片段 | 关键信息错会返工 | 要求给出来源位置,抽样核对关键句 |
| 高风险 | 法规条款、医疗用药、财务数字、对外声明 | 错了要担责或造成损失 | 默认不可采信,回权威原文逐条核对 |
不适用的情形也要说清:材料本身涉密或不允许外发时,先按数据边界处理,别为了「准确性」把敏感内容整段塞进提示词。这时更该做的是脱敏、切分、只给必要片段,或者干脆这类任务不进模型。
- 先给任务贴档,再决定用不用模型,而不是反过来
- 同一任务里混着低风险和高风险部分时,拆开分别处理
- 高风险档不接受「大概率对」,只要有一条核不上就整段重做
- 拿不准属于哪档,就往高一档处理,成本可控
做法:四步把出错率压下来
原理清楚了,做法其实不复杂:把「凭记忆」改成「看材料」,把「自由发挥」改成「按框填」。四步下来,同一任务的稳定性通常会有明显变化。要求它不确定就明说,比要求它「务必准确」有用得多——前者给了它一个体面的退出方式,后者只会让它更敢编。
- 说清边界告诉模型资料不足就明说不知道,不要补全,并指定不确定时怎么标注,比如单独列一块待核实。
- 喂原文把要引用的段落编号贴进去,要求逐条对应输出,禁止凭空扩写;编号是后面核对的锚点。
- 要出处要求给出依据在原文的哪一句,没依据的条目单独挂在待核实里,不要让它们混进正文。
- 人工抽检按风险档定抽检比例:高风险全查,中风险抽关键数字和专有名词,低风险看整体即可。
按下面规则回答:\n1. 只使用我提供的材料,材料没有的写「材料未提及」;\n2. 每条结论后面标上来源段落编号,如[3];\n3. 无法确认的内容统一放进「待核实」列表,不要写进正文;\n4. 不要补充材料之外的数字、日期、人名、条款号。这套流程要注意一个前提:提示词能压低出错率,但压不到零。所以第四步的人工抽检不能省,尤其是高风险任务,提示词写得再好也要回到原始来源。另外,模型换版本、换通道之后,同一套提示词的表现可能变,要重新跑一遍固定的对照问题,具体差异可以到 /rankings 看当时的对比记录。
同一个问题,结果这准那不准,怎么解释
先排除外部变量:换模型、换通道、限速降级都会让表现不一致。用同一提示词多跑几次做对照再下结论,别拿一次结果就判定「这个模型不行」或「这个模型很准」。偶发错误不等于模型坏了,但只要错误落在高风险档,就当系统性问题处理,补校验而不是靠重试碰运气。
问题表述越模糊,模型填空的空间越大,输出越飘。把要求和字段固定下来——要几个字段、每个字段什么格式、缺失时怎么写——会稳定很多。这也是为什么填表式任务比开放式问答靠谱:不是模型变聪明了,是你要的东西被框住了。
| 表现 | 先查什么 | 再做什么 |
|---|---|---|
| 时好时坏 | 是否换了模型或通道 | 固定一组问题反复跑对照 |
| 越问越偏 | 是不是引导式追问 | 停止追问,直接给原文 |
| 格式对内容错 | 字段是否有约束 | 加编号和出处要求 |
| 每次都错同一处 | 材料里是否有冲突 | 把冲突点单独列出来核 |
一份能直接照着走的自查清单
最后把上面的判断收成一份清单,贴在团队里就能用。核心逻辑是:先分档、再喂料、要出处、后抽检,四件事缺一件,出错率就会从你没管住的那一环冒出来。
- 对外发布前:数字、日期、人名、条款号四类必须回到原始来源核对
- 给团队用前:把模型能给什么、不能给什么写成一句话贴在工具说明里
- 定期复查:模型换版本、换通道后,用同一组固定问题跑一遍,看结果有没有退化
- 记录留痕:重要任务的提示词和输出留档,出问题能回溯是哪一步错
- 拿不准就升级:任务归不到低风险档,就按中或高风险处理
如果你在挑模型和通道,别只看宣传语,先把上面这套分档和抽检跑一遍,再结合站内的价格与模型资料做判断。想知道各家 API 的当前报价,到 /price-watch 核对当时的数字;想了解中转站的可信度和稳定性检测,可以看 /sites 的检测记录。
下一步把你这周最常用的三个任务按低中高三档贴好标签,然后用固定提示词和抽检流程各跑一遍,记下哪些环节出错;带上这份记录再去对照站内资料库和价格追踪页,选型和流程调整会更有依据。→常见问题
调低温度能不能消掉幻觉?
不能。温度管的是随机性,影响的是措辞和选词会不会跑偏,但模型不知道该说什么时,照样会编一个语法正确的答案。想压住幻觉得从来源下手,给原文、要求标不确定、加上人工核对。
让模型自己检查一遍答案有用吗?
有一定用,但别指望。同一模型自我复核容易延续原来的错,尤其是编造的人名和条款号。更有效的做法是换一种问法交叉验证,或者要求它逐句指出依据在原文哪里,找不出依据的就标出来。
给的知识库越大,答案是不是越准?
不一定。材料多但相关段落没被检索到,或者检索到一堆相近内容,模型反而容易串。先把资料按主题切细、标题写清楚,再控制单次喂进去的篇幅,比一味堆量大更管用。
同样的提示词,昨天准今天不准,怎么回事?
先按外部变量排查:模型有没有换版本、走的通道稳不稳定、有没有被限速降级。用同一组固定问题多跑几次做对照,能区分是模型本身变了还是链路问题,别拿单次结果下判断。
哪些内容绝对不要让模型代写?
需要承担责任的对外材料,比如法律意见、财务披露、医疗建议、合同条款,模型最多做草稿和格式整理,结论和数字必须由人回到权威原文确认,这部分不能委托出去。