很多人第一次用大模型,是被它流畅的表达骗过去的,以为它什么都懂。真拿它干活时才发现:它会一本正经编数据、会聊到一半忘了前面说过什么、会把几年前的旧信息当最新消息讲。这篇不吹能力,只把常见的坑按类型拆开,每个坑告诉你判断标准和能立刻做的动作,看完你至少能分清「模型不行」和「我用得不对」。
很多人第一次用大模型,是被它流畅的表达骗过去的:句子通顺、语气笃定,很容易让人以为它什么都懂。真拿它干活才发现,它会一本正经地编造数据,会聊到一半忘了前面说过什么,也会把几年前的旧信息当作最新情况讲出来。
这篇不吹能力,只把常见的坑按类型拆开。每一类都说清楚:什么表现算翻车、怎么当场判断、能立刻做什么动作。看完你至少能分清,哪些是「模型本身不行」,哪些其实是「我用得不对」。
先说清楚:它不是搜索引擎,也不是数据库
大模型的输出,本质上是概率上最像答案的一段文字,而不是从某个权威库里查出来的一条记录。所以「答得像」和「答得对」是两件事。它可以把一份不存在的报告写得格式规整、语气专业,读起来毫无破绽,但那份报告从标题到结论都可能是编的。
什么情况下不适用:需要精确数字、法条原文、公司内部台账、实时行情的时候,别指望它单独给出结论。这不是它「不够聪明」,而是任务本身要求的是可追溯的来源,而它给不出。
- 生成类任务
- 改写、扩写、起标题、写草稿、换语气、列提纲,这类任务它擅长,错了也容易看出来。
- 查证类任务
- 查数字、查条款、查某条新闻是否属实,这类任务必须有外部来源兜底,模型只能起辅助作用。
- 判断标准
- 如果这段输出错了会导致你要担责,就归到查证类;如果错了只是重写一遍,就归到生成类。
- 拿到任务先问自己:这个结论我能不能在别处验证?能,就归生成类。
- 不能验证又必须用,就补一个外部来源,让模型只负责整理和表达。
- 把「生成类」和「查证类」分开处理,是最省事的用法,比反复纠结它准不准有效得多。
- 遇到它给结论特别快、特别顺的时候,反而要多想一秒:这是查出来的,还是编出来的?
幻觉的几种常见长相,以及怎么一眼认出来
幻觉不是它「故意骗人」,而是它在没有依据时,仍然会按照语言的惯性把话补完。常见长相有几种:编造不存在的文献或书名;把两个真实存在的概念拼成一个听起来很专业的假名词;给出格式很正规、但内容空洞的引用,比如作者、期刊、年份一应俱全,实际查不到。
识别信号其实不难抓:出现具体的书名、论文、链接,却给不出可核实的出处;或者细节多到过分顺滑,每一步都刚好对得上你想要的结论。这两种情况,先默认它是编的,再去找证据推翻这个默认,而不是反过来。
| 表现 | 大概率是什么 | 当场怎么处理 |
|---|---|---|
| 给出完整引用但查不到 | 编造出处 | 要求它标出哪句是原文、哪句是推测,查不到就当不存在 |
| 两个真概念拼成假名词 | 术语混搭 | 拆开分别查证,别接受合并后的说法 |
| 回答特别顺、完全顺着你 | 迎合式补全 | 换个问法反问一次,看结论是否跟着变 |
| 细节丰富但无法验证 | 过度生成 | 只保留能验证的部分,其余标为待确认 |
上下文不是记忆:聊长了为什么开始胡说
上下文窗口可以理解成它一次能「看见」的内容总量。塞满之后,早期的指令会被稀释甚至丢掉,表现就是:你明明在前面说过不要用某种格式、不要提某个信息,聊到后面它又开始犯。很多人误以为是它态度变差了,其实是你最初那几条约束已经滑出它的视野了。
不适用场景很明确:需要跨几十轮保持一致设定的长任务,比如连续改一份几十页的稿子、边聊边维护一套规则。这类任务靠「它自己记住」是靠不住的,聊得越久越容易前后矛盾。
- 拆分长任务把几十轮的大任务切成几个小段,每段有独立的目标和交付物,做完一段收一次。
- 每段重贴关键约束不要指望它记得上一段说过什么,把必须遵守的规则在每段开头再写一遍。
- 把核心信息放在最近的位置越重要、越不能忘的约束,越要靠近你这次的提问,而不是埋在最早的对话里。
- 验证方式中途让它复述一遍当前约束,对不上就说明已经开始丢了,及时重贴而不是继续聊。
知识有时效,但它不会主动说自己过期了
模型权重里的知识停在某个时间点,之后发生的事情它并不知道。问题在于,它不会主动说「这个我不清楚」,而是可能拿旧信息硬答:新出的产品、刚调整的政策、变动过的价格,它可能按老样子讲给你,语气还很确定。
这里有个容易混淆的地方:带联网检索的入口和纯对话入口,答案的可信度不是一回事。前者能拿到较新的来源,后者基本只能靠训练时记住的东西。用之前先确认自己开的是哪一种,别把纯对话的回答当成实时信息。
- 凡是和「现在」挂钩的问题,都要求它给出出处,给不出就当作旧信息处理。
- 明确告诉它「如果不知道就直接说不知道」,比让它自由发挥更安全。
- 问新出的东西时,先自己确认一下当下发生了什么,站内 /news/daily 可以帮你对照。
- 涉及价格、政策这类会变的信息,永远去 /price-watch 核对当时的数字,别信对话里的话。
推理和计算:长链条上它容易中途走偏
单步推理它往往没问题,麻烦出在多步:多步数学、跨条件约束、需要逐项核对的表格,错误会沿着链条累积。最后一步看起来对,是因为前面某一步已经悄悄错了,而它不会回头自查。这种翻车最隐蔽,因为结论读起来很合理。
不适用场景也很清楚:涉及金额、库存、排期这类算错就出事的活,不要让模型给最终数字。它可以帮你把条件理清楚、把步骤写出来,但真需要的计算交给代码或表格更稳妥。
| 任务类型 | 能不能托付 | 稳妥做法 |
|---|---|---|
| 单步判断、分类 | 可以 | 直接让它做,出错容易发现 |
| 多步计算 | 不建议 | 让它写步骤,计算交给表格或代码 |
| 带约束的排期 | 不建议 | 先列出约束条件,再人工或工具求解 |
| 方案对比、优缺点 | 可以 | 让它列维度,结论你自己定 |
数据、版权和合规:用之前先过一遍红线
把客户信息、合同原文、未公开的代码贴进对话框之前,先确认这条通道的数据去向和留存规则。不同入口的规则不一样,有的会用于改进模型,有的不会。这件事没人能替你确认,得自己看清楚再决定贴什么。
另一个容易忽略的点:生成内容用于对外发布时,版权和事实核查的责任在发布方,不在模型。它写得再流畅,出了问题也是你签的字。所以敏感内容先脱敏,商用前查一遍授权口径,别等发布之后才想起来。
- 贴之前先自问:这段内容泄露出去会不会有麻烦?会,就先脱敏。
- 客户姓名、联系方式、合同金额这类字段,能替换就替换,别图省事直接粘贴。
- 生成内容对外发布前,事实和版权各查一遍,两项都过再发。
- 不确定某个通道的规则,站内 /safety 有对应条目可以对照。
很多「模型不行」其实是指令没给够
同一件事,把「角色、输入、输出格式、边界」说清楚之后,效果差异往往比换个模型还大。很多人遇到结果不满意,第一反应是换模型,其实大部分问题出在指令太模糊:没说清楚要什么格式、没说清楚哪些不能做。
判断顺序建议是:先改提示词,再看上下文长度,最后才考虑换模型或加检索。这个顺序能帮你省掉大量无谓的试错。换模型是成本最高的一步,应该放在最后,而不是第一步。
- 补角色告诉它站在什么角度回答,比如「你是一位审核编辑」,比空着问更聚焦。
- 给输入和格式把原始材料贴清楚,并指定输出格式,比如分点、表格、指定字段。
- 划边界明确哪些不能做:不要编数据、不确定就说不确定、只做改写不补充内容。
- 验证改完再跑一次对比,如果结果稳定变好,说明之前是提示词问题,不用换方案。
翻车了按这个顺序排查,别一上来就换模型
遇到结果不对,最常见的错误反应是直接换模型。但翻车的原因通常分三类:知识错、算错、格式错。三类问题的修法完全不同,换模型往往只对其中一类有效,另外两类换了也一样。
所以排查要讲顺序:第一步确认是哪类错;第二步看是信息不够还是指令不清;第三步才评估是不是模型能力到顶了。另外,把每次翻车的原始输入和输出留档,攒够几条再判断是偶发还是系统性问题,比凭印象下结论靠谱。
| 现象 | 先查什么 | 对应动作 |
|---|---|---|
| 事实错、数据假 | 信息是否在它知识范围内 | 补外部来源,要求标出处 |
| 算错、前后对不上 | 是不是多步计算 | 步骤外置,计算交给工具 |
| 格式乱、漏字段 | 指令是否说清格式 | 补充格式示例,重跑对比 |
| 答得慢、卡顿 | 是不是通道本身的问题 | 到 /tools/speed-test 先量一遍基线 |
常见问题
大模型最大的缺点是不是会胡说?
胡说只是最显眼的一个。实际用起来更常见的坑是:知识停在过去、长时间对话后遗忘、多步计算一路错到底、以及你没法解释它为什么这么答。这四类和幻觉要分开治,换模型通常解决不了全部。
那大模型还能放心用吗?
能,但要按任务分。写草稿、改语气、做归纳、翻译这类「错了也不致命、你能一眼看出来」的活,放心用;涉及金额、法律、医疗、对外发布的内容,把它当助手而不是当结论来源,最后一步永远由人来核。
为什么同一个问题它给的答案不一样?
生成过程带随机性,加上上下文里前面聊的内容会影响后面,所以同样的问法也可能有出入。要稳定就把约束写死、把关键信息固定在同一位置,机制和应对办法站内有专门一篇讲输出稳定性。
换个更强的模型,缺点是不是就没了?
不会全没。强模型在推理和指令遵循上确实更好,但知识时效、数据合规、上下文容量这些是结构性问题,换模型只是把出错概率压低,不会清零。判断标准还是看你的任务能不能容忍偶发错误。
我怎么知道自己遇到的坑属于哪一类?
先看错误长什么样:事实对不上是知识问题,数字算错是推理问题,格式乱是指令问题,聊久了才出错是上下文问题。分完类再去对应页面找办法,比漫无目的地换工具快得多。