模型答得又快又像那么回事,可一落到文档、报表、对外回复里,就总有几句让你心里发毛:这个数字是它算的还是编的?这条引用真的存在吗?很多人花半天在反复让它「再确认一下」,越问越乱。这篇不讲原理,只给一套看输出的判断标准和动手核对的顺序,帮你尽快决定哪段能用、哪段必须自己查、哪段干脆删掉重写。
模型答得又快又像那么回事,可一落到文档、报表、对外回复里,就总有几句让你心里发毛:这个数字是它算的还是编的?这条引用真的存在吗?我见过最典型的翻车,是有人把一段带页码和作者名的引用直接贴进方案,交付前半小时才想起来去搜原文,结果压根没这篇东西。
这篇不讲原理,只给一套看输出的判断标准和动手核对的顺序,帮你尽快决定哪段能用、哪段必须自己查、哪段干脆删掉重写。先说个前提:别指望模型自己告诉你它有没有把握,它说「我确认过了」这件事本身没有任何信息量,你只能自己去查。
先分清「编的」和「不准的」,两者处理方式不同
很多人把这两种毛病混着处理,结果就是对着一段编造内容反复追问「你再确认一下」,问十轮它也不会承认,只会换一种说法继续编。先分类,动作才清晰。
编造有个很稳的特征:细节过于工整。人名、机构、编号、页码、日期一应俱全,看着比真资料还齐整,可你随手挑其中一条去搜,搜不到。这种情况别纠正,整段弃用。不精确则是另一回事,方向大体对、颗粒度粗,比如把适用范围说大了、把两个口径混在一起,这类补上上下文重问是有救的。
| 特征 | 你看到的样子 | 怎么处理 |
|---|---|---|
| 编造 | 细节齐全但查无此事,越问越具体 | 整段删掉,别试图纠正 |
| 不精确 | 方向对、数字或范围偏粗 | 补上下文、明确口径后重问 |
| 对但过时 | 内容真实,但可能已不是当前状态 | 不用重写,自己去站内核一遍最新数字 |
哪些场景必须查,哪些可以睁一只眼
全查不现实,全不查迟早出事。按场景分档,比凭感觉靠谱。
- 必须逐条查:对外交付文档、任何带数字的结论、带出处和引用的段落、涉及法规条文或资质表述、出现真实人名与机构名
- 可以用完再改:内部头脑风暴、改写润色、起标题、列大纲,但流程里要留一道人工过目
- 判断口诀:这段话错了,是我被骂还是用户被坑?答案越具体,查得越狠
- 边界情况:给客户的内部参考材料,按对外标准查,因为客户会转出去
这套分档也有不适用的时候。如果输出只是给你自己看、看完就扔,那核对成本比内容本身还贵,直接扫一眼逻辑通不通就行;但凡有一段可能被复制到别处,就得按高风险处理。
核对顺序:先查来源,再查算术,最后查口径
- 查来源让模型给出处,然后自己去原文里搜关键词,别点它给的链接,那链接经常是拼出来的。搜不到就当它没说这句话。
- 查算术凡是加减乘除、百分比、同比环比的结论,拿计算器或表格自己重算一遍,别让它复述结果。重算时把原始几个数抄出来,对不上就是它算错了。
- 查口径同一个指标在不同页面定义不一样,确认模型用的和你引的是同一个定义。数字对、口径错,结论照样错。
顺序别调。先查来源是因为编造最难救;算术排第二是因为它便宜,几秒钟的事;口径放最后,是因为它最容易被忽略,也最容易在评审时被人当场指出来。
问到第几轮就该停手,别再跟它耗
有个很常见的浪费:一段内容已经明显不对劲,人还在那儿追问,指望它自己改对。止损点得提前定好。
同一个事实问两遍得到不同答案,说明它没把握,立刻转人工查或换带检索的工具。连续追问三次它还在解释自己没错,那多半是在补理由不是补事实,这段直接删,别留恋。还有个更省事的办法:把已经核实过的事实写成一段固定上下文,再让它基于这段改写,比一轮轮追问快得多。
模型的自我确认不是证据,你亲手查过的那一条才是。
做报表的同事有个习惯值得学:先把要用的几个关键数在表格里核死,再让模型写解读文字,数字不进模型,它就没有机会编。
下一步想对照各家模型的当前定价和资料,或者给中转站做一次可信度检测,可以直接去站内页面看当时的数字和检测项,别凭印象判断。→常见问题
模型说「我不确定」是不是就可信了?
不一定。会认错的模型相对好办,但有些模型会把编的内容说得很肯定,反而对模糊的地方一带而过。判断依据不是它语气多确定,而是它给出的细节能不能被你独立查证。所以看到不确定就降权,看到太确定更要抽一条去查。
让它自己检查一遍有用吗?
作用有限。同一次对话里它往往沿用之前的假设,自己查自己多半是复述。真想让它复核,换个提问方式、换新会话,或者干脆把原文贴给它做逐句比对,效果比问「你确定吗」实在。
用带联网或带知识库的工具是不是就没这问题了?
能降一部分,但不能全免。检索回来的内容可能不相关、过期,模型还可能把检索结果和自己的记忆混着说。习惯上还是要求它把引用和结论分开写,你只信引用能点开验证的那部分。站内 /tools/quality-check 有对比检测的思路可以先看看。