大模型是什么缺点

入门与上手

从能力边界、幻觉、上下文、时效到合规,讲清大模型常在哪些地方翻车,以及每类问题对应的判断标准和自检动作。

很多人第一次用大模型,是被它流畅的表达骗过去的,以为它什么都懂。真拿它干活时才发现:它会一本正经编数据、会聊到一半忘了前面说过什么、会把几年前的旧信息当最新消息讲。这篇不吹能力,只把常见的坑按类型拆开,每个坑告诉你判断标准和能立刻做的动作,看完你至少能分清「模型不行」和「我用得不对」。

很多人第一次用大模型,是被它流畅的表达骗过去的:句子通顺、语气笃定,很容易让人以为它什么都懂。真拿它干活才发现,它会一本正经地编造数据,会聊到一半忘了前面说过什么,也会把几年前的旧信息当作最新情况讲出来。

这篇不吹能力,只把常见的坑按类型拆开。每一类都说清楚:什么表现算翻车、怎么当场判断、能立刻做什么动作。看完你至少能分清,哪些是「模型本身不行」,哪些其实是「我用得不对」。

先说清楚:它不是搜索引擎,也不是数据库

大模型的输出,本质上是概率上最像答案的一段文字,而不是从某个权威库里查出来的一条记录。所以「答得像」和「答得对」是两件事。它可以把一份不存在的报告写得格式规整、语气专业,读起来毫无破绽,但那份报告从标题到结论都可能是编的。

什么情况下不适用:需要精确数字、法条原文、公司内部台账、实时行情的时候,别指望它单独给出结论。这不是它「不够聪明」,而是任务本身要求的是可追溯的来源,而它给不出。

生成类任务
改写、扩写、起标题、写草稿、换语气、列提纲,这类任务它擅长,错了也容易看出来。
查证类任务
查数字、查条款、查某条新闻是否属实,这类任务必须有外部来源兜底,模型只能起辅助作用。
判断标准
如果这段输出错了会导致你要担责,就归到查证类;如果错了只是重写一遍,就归到生成类。
  • 拿到任务先问自己:这个结论我能不能在别处验证?能,就归生成类。
  • 不能验证又必须用,就补一个外部来源,让模型只负责整理和表达。
  • 把「生成类」和「查证类」分开处理,是最省事的用法,比反复纠结它准不准有效得多。
  • 遇到它给结论特别快、特别顺的时候,反而要多想一秒:这是查出来的,还是编出来的?

幻觉的几种常见长相,以及怎么一眼认出来

幻觉不是它「故意骗人」,而是它在没有依据时,仍然会按照语言的惯性把话补完。常见长相有几种:编造不存在的文献或书名;把两个真实存在的概念拼成一个听起来很专业的假名词;给出格式很正规、但内容空洞的引用,比如作者、期刊、年份一应俱全,实际查不到。

识别信号其实不难抓:出现具体的书名、论文、链接,却给不出可核实的出处;或者细节多到过分顺滑,每一步都刚好对得上你想要的结论。这两种情况,先默认它是编的,再去找证据推翻这个默认,而不是反过来。

表现大概率是什么当场怎么处理
给出完整引用但查不到编造出处要求它标出哪句是原文、哪句是推测,查不到就当不存在
两个真概念拼成假名词术语混搭拆开分别查证,别接受合并后的说法
回答特别顺、完全顺着你迎合式补全换个问法反问一次,看结论是否跟着变
细节丰富但无法验证过度生成只保留能验证的部分,其余标为待确认

上下文不是记忆:聊长了为什么开始胡说

上下文窗口可以理解成它一次能「看见」的内容总量。塞满之后,早期的指令会被稀释甚至丢掉,表现就是:你明明在前面说过不要用某种格式、不要提某个信息,聊到后面它又开始犯。很多人误以为是它态度变差了,其实是你最初那几条约束已经滑出它的视野了。

不适用场景很明确:需要跨几十轮保持一致设定的长任务,比如连续改一份几十页的稿子、边聊边维护一套规则。这类任务靠「它自己记住」是靠不住的,聊得越久越容易前后矛盾。

  1. 拆分长任务把几十轮的大任务切成几个小段,每段有独立的目标和交付物,做完一段收一次。
  2. 每段重贴关键约束不要指望它记得上一段说过什么,把必须遵守的规则在每段开头再写一遍。
  3. 把核心信息放在最近的位置越重要、越不能忘的约束,越要靠近你这次的提问,而不是埋在最早的对话里。
  4. 验证方式中途让它复述一遍当前约束,对不上就说明已经开始丢了,及时重贴而不是继续聊。

知识有时效,但它不会主动说自己过期了

模型权重里的知识停在某个时间点,之后发生的事情它并不知道。问题在于,它不会主动说「这个我不清楚」,而是可能拿旧信息硬答:新出的产品、刚调整的政策、变动过的价格,它可能按老样子讲给你,语气还很确定。

这里有个容易混淆的地方:带联网检索的入口和纯对话入口,答案的可信度不是一回事。前者能拿到较新的来源,后者基本只能靠训练时记住的东西。用之前先确认自己开的是哪一种,别把纯对话的回答当成实时信息。

  • 凡是和「现在」挂钩的问题,都要求它给出出处,给不出就当作旧信息处理。
  • 明确告诉它「如果不知道就直接说不知道」,比让它自由发挥更安全。
  • 问新出的东西时,先自己确认一下当下发生了什么,站内 /news/daily 可以帮你对照。
  • 涉及价格、政策这类会变的信息,永远去 /price-watch 核对当时的数字,别信对话里的话。

推理和计算:长链条上它容易中途走偏

单步推理它往往没问题,麻烦出在多步:多步数学、跨条件约束、需要逐项核对的表格,错误会沿着链条累积。最后一步看起来对,是因为前面某一步已经悄悄错了,而它不会回头自查。这种翻车最隐蔽,因为结论读起来很合理。

不适用场景也很清楚:涉及金额、库存、排期这类算错就出事的活,不要让模型给最终数字。它可以帮你把条件理清楚、把步骤写出来,但真需要的计算交给代码或表格更稳妥。

任务类型能不能托付稳妥做法
单步判断、分类可以直接让它做,出错容易发现
多步计算不建议让它写步骤,计算交给表格或代码
带约束的排期不建议先列出约束条件,再人工或工具求解
方案对比、优缺点可以让它列维度,结论你自己定

数据、版权和合规:用之前先过一遍红线

把客户信息、合同原文、未公开的代码贴进对话框之前,先确认这条通道的数据去向和留存规则。不同入口的规则不一样,有的会用于改进模型,有的不会。这件事没人能替你确认,得自己看清楚再决定贴什么。

另一个容易忽略的点:生成内容用于对外发布时,版权和事实核查的责任在发布方,不在模型。它写得再流畅,出了问题也是你签的字。所以敏感内容先脱敏,商用前查一遍授权口径,别等发布之后才想起来。

  • 贴之前先自问:这段内容泄露出去会不会有麻烦?会,就先脱敏。
  • 客户姓名、联系方式、合同金额这类字段,能替换就替换,别图省事直接粘贴。
  • 生成内容对外发布前,事实和版权各查一遍,两项都过再发。
  • 不确定某个通道的规则,站内 /safety 有对应条目可以对照。

很多「模型不行」其实是指令没给够

同一件事,把「角色、输入、输出格式、边界」说清楚之后,效果差异往往比换个模型还大。很多人遇到结果不满意,第一反应是换模型,其实大部分问题出在指令太模糊:没说清楚要什么格式、没说清楚哪些不能做。

判断顺序建议是:先改提示词,再看上下文长度,最后才考虑换模型或加检索。这个顺序能帮你省掉大量无谓的试错。换模型是成本最高的一步,应该放在最后,而不是第一步。

  1. 补角色告诉它站在什么角度回答,比如「你是一位审核编辑」,比空着问更聚焦。
  2. 给输入和格式把原始材料贴清楚,并指定输出格式,比如分点、表格、指定字段。
  3. 划边界明确哪些不能做:不要编数据、不确定就说不确定、只做改写不补充内容。
  4. 验证改完再跑一次对比,如果结果稳定变好,说明之前是提示词问题,不用换方案。

翻车了按这个顺序排查,别一上来就换模型

遇到结果不对,最常见的错误反应是直接换模型。但翻车的原因通常分三类:知识错、算错、格式错。三类问题的修法完全不同,换模型往往只对其中一类有效,另外两类换了也一样。

所以排查要讲顺序:第一步确认是哪类错;第二步看是信息不够还是指令不清;第三步才评估是不是模型能力到顶了。另外,把每次翻车的原始输入和输出留档,攒够几条再判断是偶发还是系统性问题,比凭印象下结论靠谱。

现象先查什么对应动作
事实错、数据假信息是否在它知识范围内补外部来源,要求标出处
算错、前后对不上是不是多步计算步骤外置,计算交给工具
格式乱、漏字段指令是否说清格式补充格式示例,重跑对比
答得慢、卡顿是不是通道本身的问题到 /tools/speed-test 先量一遍基线
下一步如果你想系统地对着这些坑做一轮自检,先去站内的工具页把基线量出来,再挑一个自己常做的任务,按上面的排查顺序走一遍。数据和对照表都放在站内,比记在脑子里可靠。

常见问题

大模型最大的缺点是不是会胡说?

胡说只是最显眼的一个。实际用起来更常见的坑是:知识停在过去、长时间对话后遗忘、多步计算一路错到底、以及你没法解释它为什么这么答。这四类和幻觉要分开治,换模型通常解决不了全部。

那大模型还能放心用吗?

能,但要按任务分。写草稿、改语气、做归纳、翻译这类「错了也不致命、你能一眼看出来」的活,放心用;涉及金额、法律、医疗、对外发布的内容,把它当助手而不是当结论来源,最后一步永远由人来核。

为什么同一个问题它给的答案不一样?

生成过程带随机性,加上上下文里前面聊的内容会影响后面,所以同样的问法也可能有出入。要稳定就把约束写死、把关键信息固定在同一位置,机制和应对办法站内有专门一篇讲输出稳定性。

换个更强的模型,缺点是不是就没了?

不会全没。强模型在推理和指令遵循上确实更好,但知识时效、数据合规、上下文容量这些是结构性问题,换模型只是把出错概率压低,不会清零。判断标准还是看你的任务能不能容忍偶发错误。

我怎么知道自己遇到的坑属于哪一类?

先看错误长什么样:事实对不上是知识问题,数字算错是推理问题,格式乱是指令问题,聊久了才出错是上下文问题。分完类再去对应页面找办法,比漫无目的地换工具快得多。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。