大模型项目实战 多领域智能应用开发

你大概遇到过这种情况：模型能跑通 demo，一放到自己的业务里就不知道怎么往下走——该选什么形态、要准备哪些数据、算力和成本卡在哪、上线后怎么判断它有没有变差。这篇不聊概念，按领域给你拆成几条可落地的路径，每条都给判断标准和排查顺序，让你先跑通一条最小闭环再决定要不要加码。

你大概遇到过这种情况：模型能跑通 demo，一放到自己的业务里就不知道怎么往下走——该选什么形态、要准备哪些数据、算力和成本卡在哪、上线后怎么判断它有没有变差。这篇不聊概念，按领域给你拆成几条能照着做的路径，每条都给判断标准和排查顺序，让你先跑通一条最小闭环再决定要不要加码。

阅读顺序建议按小节走：先定形态，再定验收集，然后算账，最后才谈上线和盯盘。中间任何一步发现走不通，就退回去改上一步的假设，别硬扛。每节末尾都标了「什么情况下不适用」，判断类的内容别当成通用结论。

先按领域选形态：问答、抽取、生成、决策四条路

四类形态的技术栈和坑位差别很大，先对号入座能省掉大量无效试错。下面这张表把每类场景最该先做的事情列出来，照着往下走即可。

• 知识问答类优先走检索增强，数据敏感或术语密集时才考虑微调补语感；判断标准是「检索召回的片段能不能覆盖大部分问题」，不能就先补文档治理
• 抽取类看的是一条结果能不能直接进下游系统，重点是提示约束与结果校验，模型大小往往不是瓶颈；什么情况下不适用：输入格式高度自由、连人工都难定义标准答案时
• 生成类必须把「一次可用率」和「人工返工成本」分开量，两个都量了才知道值不值；只量其中一个很容易高估收益
• 决策代理类先问失败一次的代价，代价高的场景只做建议不做执行；代价低且可回滚的场景才考虑让它动手

先定验收集再动手：没有评测集的项目不要开工

验收集不是学术意义上的测试集，而是一份你能反复跑、用来判断「这次改动是好是坏」的对照物。没有它，你每次换模型换提示都只能凭感觉，最后分不清真提升和随机波动。

1. 抽样本从真实业务里抽一批输入，覆盖正常、边界、易错三类；数量不用多，够你看出趋势即可，宁少勿假
2. 标期望输出给每条样本写上期望输出的要点，不用逐字，但要能判断对错；边界样本的期望值可以和业务方一起定
3. 拆评分维度把人工打分拆成几条可勾选的维度，比如正确、完整、格式合规、是否编造；避免每次凭整体感觉比
4. 固定回跑每次换模型、换提示、加检索都跑同一套，记下结果；留一部分样本不参与调优，用来防过拟合

• 验收集要能覆盖你线上最常出现的输入形态，脱离真实分布的样本集参考价值很低
• 评分维度不宜过多，四到六条通常够用，维度太细会让每次回跑变成负担
• 如果业务方无法给出期望输出，说明验收标准本身还没定义清楚，这时先别开工
• 什么情况下不适用：探索性原型阶段可以只做主观评估，但一旦要接业务，验收集就得补起来

算力与成本口径：按场景算清三笔账

成本不是单一数字，拆成延迟、并发、调用三笔账分别看，才不会被某一项牵着走。具体折算到卡数、显存和调用单价时，去站内页面核对当时的数字，别用记忆里的旧值做决策。

延迟账

交互式场景先测首字延迟，批处理场景看整体吞吐，两者优化方向不同，别用同一个标准卡自己

并发账

按峰值请求数和平均输出长度估资源，再到 /models/deploy 与 /compute/sizing 对一遍折算结果

调用账

按量接口成本随用量线性走，自建有固定底噪，交叉点跟你的日均调用量强相关，量小的时候自建基本不划算

周边账

向量库、重排、缓存这些组件在小项目里也可能占到可观比例，算总账时别漏

三笔账算完再决定形态。如果交叉点算下来离你的实际用量很远，就不用纠结自建还是调用，按当下的成本结构选就行；具体单价和折算系数到 /price-watch 与 /compute/sizing 核对当时的数字。

上线后怎么盯：三类指标加一条回退线

上线不是终点，而是观测的起点。建议固定三类指标：质量指标、线上信号、成本与延迟，再配一条能在几分钟内执行的回退线。指标只看趋势，判断标准是「有没有连续几个周期朝同一个方向走」，单点波动不用反应过度。

1. 准备回退线能切回上一个提示或上一个模型版本，切换动作要能在几分钟内完成，并且演练过一次
2. 定观测节奏质量指标跟着发布节奏跑，线上信号和成本延迟按天看趋势，别等用户投诉才发现
3. 定位异常来源指标突变先查提示长度和上下文裁剪，再看模型侧；多数突增来自输入变化而不是模型变慢
4. 记录改动每次调整提示、模型或检索参数都记一笔，方便回溯是哪次改动带来的变化

• 质量指标固定在验收集上周期性回跑，不要依赖用户反馈来发现退化
• 线上信号里，拒答率、复述率、格式错误率通常比准确率更早反映问题
• 回退线要提前准备好并演练，临时找方案往往来不及
• 什么情况下不适用：纯内部工具、用户量极小且错误可当场纠正时，观测可以简化，但回退线仍然要有

这些情况下先别上：判断不适用的几个信号

不是所有问题都适合用模型解决，下面这些信号出现时，先停下来评估，硬上只会增加不确定性和维护负担。

• 业务规则本来就能用确定性代码写清楚的，硬套模型只会增加不确定性；这类场景模型最多做输入解析
• 容错极低且输出要承担法律或资金责任的场景，模型只适合做辅助和草稿，由人做最终决定
• 没有可获取的验收数据和人工反馈通道，做出来也没法判断好坏，等于无法迭代
• 数据出不了内网又没算力预算时，先算清楚私有化的固定成本，别指望用开源模型直接绕过去
• 上游数据质量差、文档长期不维护的场景，先补数据治理，模型不是补丁

上面这些判断不是绝对的，随着业务对错误的容忍度变化，结论可能反过来。建议每隔一段时间重新对照一次，尤其是成本和数据条件发生明显变化之后，具体数值去站内页面核对。