稿子交上去被打回来,第一反应往往是「模型又胡说」或者「这人怎么这么不小心」。两种归因差别很大:一个要补检索和约束,一个要改流程和复核位。这篇给一条能当场跑的分流路径——先判断错在哪一侧,再决定下一步动哪里,附上不适用的情况。
稿子被打回来,第一反应很容易分两派:一派说「模型又胡说」,一派说「这人怎么这么不小心」。这两种归因往下走的路完全不一样——模型在编,要补检索、加约束、改提示词;人在操作上丢了东西,改提示词改到天亮也没用。好在多数情况下不用猜,看几个特征就能分流。
这篇给一条能当场跑的分流路径:先判断错在哪一侧,再决定动哪里。顺序别搞反,先改稿子后查流程,是最常见的白忙一场。
动手之前先分流:这一错是谁产生的
最省事的判断是从「这个错有没有外部依据」看起。错的数字能指向某份原文、某个数据源、某次接口返回,那大概是人的环节把东西丢了或者拿错了版本。反过来,一段读起来特别顺、结构完整、但怎么都找不到出处的表述,才值得先怀疑生成侧。
- 可追溯
- 错误能对上某份原文或某次返回,先查人的搬运和核对环节
- 不可追溯
- 表述合理但找不到任何来源,先按模型编造处理
- 可复现
- 同一提示词重跑几次结论摇摆,偏生成侧
- 位置固定
- 每次都错在同一个字段、同一格,偏人的操作习惯
还有一种情况两头都沾:模型给了个大方向没错的答案,人照抄的时候把限定条件漏了。这种别纠结归类,按「先补人的复核位、再收紧模型的输出格式」两件事一起做,成本最低。
确认是模型在编,按这个顺序查
判定偏生成侧之后,别一头扎进提示词调优。实际排查下来,问题经常出在更前面的输入环节:资料被截断了一段、把扫描件当纯文本硬塞、上下文里只留了结论没留原始段落。模型拿不到原文,只能按训练里的常见说法补一个出来,看着像编,其实是没喂到。
- 查输入完整性把喂进去的参考材料原样打出来看一遍,确认关键段落没被截断、没被当成纯文本读成乱码、没在拼接时丢掉后半截。
- 查可验证性把答案里的内容分成两类:数值、条款、引用这类必须外部核对的,和允许概括的。前者不该由模型直接下结论,要么给来源位置,要么标记待核。
- 再调输出约束要求给出处位置、不确定时明说不知道、长任务拆成先列要点再逐条填。这几条比堆形容词管用。
- 补独立交叉验证关键结论用第二条路径再走一遍,别只看一次输出就放行。质量检测的口径可以去 /tools/quality-check 对照。
顺序很重要。先查输入再调参数,能省掉大量无效试错;反过来先调参数,大概率是在给一个输入缺失的问题打补丁,表面好了,换个问法又塌。
确认是人这边出错,问题多半在这三处
人的失误很少是「态度不认真」,多数是流程里留了个空子。最常见的是复制粘贴那一步:从旧文档带过来的数据、上一版没删干净的段落,混在新稿里看着像新写的,其实早过期了。第二处是核对那一格——把「已核对」当成一个勾选项,签了字但没真打开原始出处比对一次。第三处是交接:口头说的改动没落到文档里,下一手按旧版本继续改,错就叠上去了。
| 出错位置 | 典型表现 | 先动哪里 |
|---|---|---|
| 复制粘贴 | 旧数据、旧段落混进新稿 | 加一步粘贴后清格式和比对来源 |
| 核对签字 | 勾了已核对但没打开原文 | 核对项改成必须附出处截图或链接 |
| 交接环节 | 口头改动没进文档 | 改动只认文档版本,口头只做提醒 |
| 版本管理 | 多人改同一份文件互相覆盖 | 固定一个主文档,改动留痕 |
这张表不是让你逐条对号入座,而是提醒:人的失误基本都能还原成一个具体动作,找到那个动作就能改流程。改不了流程的时候,至少加一道复核,别指望下次更小心。
哪些情况这套分法不适用
创作类内容本来就没有唯一正确答案,谈不上编造,要判断的是能不能用、有没有踩到别人的权利,往「谁在编」上归因就跑偏了。涉及实时数据的场景,错误可能来自上游接口本身,这时候查提示词和查人都白费,先看数据源有没有变。
- 创作类输出:判断可用性和合规性,不做真假分流
- 实时数据场景:先查上游接口和缓存,再查人
- 已被下游校验拦下的:直接看拦截日志指出的那一格,别重复排查
- 多人协作的复合错误:先按流程还原动作链,再谈是谁的问题
还有一种容易误判的情况:错在摘要环节,原文没错、模型也没编,是摘要时把限定条件省掉了。这类既不算编造也不算搬运失误,得单独给摘要定规则——哪些限定词必须保留,最好在模板里写死。
下一步分流之后要对具体模型和工具的口径,去站内资料库核对当时的数字和说明,别拿记忆里的结论当依据。→常见问题
模型说「不知道」算不算幻觉?
不算。明确说不知道是可接受的输出,反而比编一个像样的答案安全。真正要处理的是那种语气笃定、结构完整、但一查就散的回答。所以核对时优先挑带数字、带条款、带引用的句子去验,这类最容易露馅。
同一个提示词每次结果不一样,是不是模型有问题?
多数情况是正常的生成波动,不代表模型坏了。判断标准是看事实性内容是否稳定:结论一致、措辞不同,没问题;每次给出不同的事实或数字,那就要按幻觉处理,补来源约束或者改成先取资料再生成。
怎么让复核不流于形式?
把复核拆成具体动作而不是一个勾选框:指定要打开的原始出处、指定要比对的字段、指定谁来签。责任落到具体那一格,人就不容易糊弄过去。另外别让写稿的人自己复核自己写的内容,这一步省不得。