推理大模型和传统编程避坑:出错时你改的是提示词还是代码

模型与算力

分清哪些问题该改代码、哪些该改提示词,给一套判断顺序和对照清单,避免把模型输出问题当程序 bug 反复重装。

用推理模型接进项目的人,多半卡在同一个地方:结果不对,先把模型换一遍、参数调一遍,最后发现是代码里少做了一步校验,或者提示词没交代输出格式。这篇不讲原理,只讲怎么在对错不明的时候先定位:错在模型、错在代码,还是错在两者之间的那一层。

推理模型接进项目以后,最常见的死循环是这样:跑出来结果不对,先把模型换一遍,再把温度、最大输出这类参数挨个调,调完还是不对,于是怀疑接口不稳定、怀疑中转站掉包。折腾两小时,最后发现问题出在自己的解析代码上——返回里多了一句解释性的话,正则就匹配不上了。

这篇文章不讲模型原理,只解决一个动作级的问题:结果不对的那一刻,你手应该先伸向提示词,还是先伸向代码。下面给的是一套能照着走的判断顺序,不是绝对结论,末尾也会说清楚它什么时候不管用。

先分清错误落在哪一层

一次失败的调用,别当成一个整体看,拆成四层:输入是怎么拼出来的、模型怎么推的、返回怎么解析的、结果怎么落到业务里的。这四层里通常只有一层真跟模型能力有关,其余三层都是传统编程该管的事。分不清层,就会出现「明明是解析写挂了,却一直在换模型」这种无效动作。

输入构造层
模板变量没替换、上下文被截断、多轮历史拼错顺序,表现是模型答非所问,但你去看日志会发现发出去的 prompt 本身就是残的。
模型推理层
题目本身含糊,比如让它「判断这条评论好不好」却没说清好评差评的边界,这种错换什么模型都只是错得不一样。
输出解析层
代码假设返回一定是纯 JSON、一定以某个词开头,模型多说一句客套话就崩,这类错最像模型问题,其实最不是。
业务落地层
把概率性的输出当确定值用,直接拿去做数值比较、当主键、当金额,模型没错,用法错了。

拆层的方法很土但有效:把当次请求的原始 prompt 和原始返回都落盘,别只看你代码加工之后的对象。看一眼原文,八成能立刻判断错在哪一层。

同一个症状,两种完全不同的改法

「输出格式跑偏」是最典型的双重身份症状。它可能是提示词没把字段和示例写清楚,也可能是你的解析代码只认一种写法。判断办法是先看提示词里有没有给出明确的字段名和一段完整示例;如果没有,先补提示词,这是一分钟的事。补完还跑偏,再去查解析。

看到的症状先查哪里符合这个特征才是模型侧问题
格式跑偏、多出解释文字提示词是否给了字段和示例;解析是否只认单一写法同一提示词下格式错误率仍然很高,且换写法无效
答案时对时错、忽好忽坏输入数据是否干净、任务描述是否有歧义输入完全一致、描述足够明确,输出仍大幅漂移
数值、ID、日期算错代码有没有做 schema 校验和边界判断校验都加了,模型仍在生成阶段就编造字段
接口偶发失败、超时重试、超时、并发配置同样的请求在别处能稳定跑通

代码里对模型返回直接做数值运算或者下标取值,是翻车频率最高的一个动作。返回少一个字段,你的代码就在那一行炸掉。这种地方先加边界判断,再谈调优,顺序不能反。

这几件事别交给模型判断

有些活天生属于代码,塞进提示词只会让排查变难。分页、重试、超时、幂等、权限校验,这些是确定性的控制流,模型做不好也不该做。你让它「记得不要重复提交」,不如在代码里加一个幂等键。

  • 金额、日期、订单号这类必须精确的字段,代码侧用正则或 schema 校验,模型只负责生成那些本来就不稳的部分
  • 限流和并发控制放在架构层,写进提示词里既不生效也查不出来
  • 需要跨多次调用保持一致的状态,交给外部存储,别指望模型自己在上下文里记住
  • 权限判断一律在服务端做,模型输出只能当建议,不能当准入依据

说白了,模型负责的是「内容不稳但可以兜底」的那部分,代码负责的是「必须确定」的那部分。把这两类混在一起,出错时你永远不知道该改哪边。

出错后的排查顺序

顺序比方法重要。下面四步按顺序走,基本能在十分钟内把嫌疑范围压到一层。跳步的代价是反复折腾同一个地方。

  1. 固定现场把当次请求的完整 prompt 和返回原文落盘,别只存加工后的结果。看原文,判断是输入残了、输出格式歪了,还是内容本身不对。
  2. 同输入多跑几次用完全相同的输入连跑几遍。稳定错,多半在代码和格式层;随机错,才轮到模型侧。这一步能把大半的代码 bug 直接摘出去。
  3. 换假返回单测把模型换成一个固定的假返回,单测跑通解析和业务逻辑。跑不通,说明问题在代码,跟模型无关,回去改代码。
  4. 最后才动提示词和模型一次只改一个变量,改完用同一批输入对比。同时改提示词又换模型,结果好了你也不知道是谁的功劳。

我自己踩过的坑是在第三步之前就动手:直接调提示词,调完发现返回格式变了,原来的解析又崩了,两个问题叠在一起,越查越乱。先把假返回这条路走通,能省掉一大半的来回。

什么情况下这套判断不好使

得说清楚边界。任务本身是开放创作、没有客观对错的时候,比如写文案、起标题、做摘要润色,不存在「错在哪一层」这回事,只能靠人工抽检和一套量规打分来判断好坏,硬套四层拆解会把自己绕进去。

还有一种:长链路、多轮调用。单点排查不够用,因为你不知道错在第几次调用。这时候先把每次调用的输入输出串成一条可回放的日志,能按次序重放,再谈定位。日志没打通之前,改什么都是盲改。

另外,如果你连模型返回的原始报文都拿不到,比如中间隔了一层封装只给你加工后的对象,那这套方法的第一步就做不了。先把原始报文取到,这比选哪个模型重要得多。

下一步如果你正在挑推理模型的接入渠道,想知道同一批模型在不同中转站的价格和可用性差别,去价格追踪页看当时的数字,再回来看这套排查顺序,心里会更有底。

常见问题

模型返回的结果和文档里写的不一样,是模型降智了吗?

先别往降智上想。拿同一个输入原样重跑两次,两次都对但和你预期不同,是提示词没说清;两次结果不一样,才轮到怀疑模型输出不稳定。顺手核一下接口返回的原始字段,有没有被中间的代理或 SDK 改写过。

推理模型的思考过程能不能直接当调试信息用?

可以当线索,别当证据。它写出来的推理步骤是生成出来的文字,不等于真实的计算路径,拿它定位代码 bug 容易越走越偏。真正的调试信息还是你自己的请求日志和响应原文。

要不要为了稳定,把所有输出都塞进 JSON 模式?

格式约束能减少解析层的错,但字段内容对不对它管不了。建议格式和语义分两步验:先校验能不能解析成 schema,再校验字段值在不在合理范围里。想细看参数和令牌口径,去 /ai-dict/category/basics 对照。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。