很多人搜这三个词,其实不是想搞懂定义,是手里有个项目拿不准该往哪条路上走。找通用模型怕不够专,找行业模型怕被绑定,找垂直模型怕花冤枉钱。这篇不铺概念,给一条能照着走的排查顺序:先确认你缺的是能力还是数据,再决定往哪类模型上试。
搜这三个词的人,多半不是想背定义。手里有个项目,拿不准该往哪条路上走:找通用模型怕不够专,找行业模型怕被厂商绑住,找垂直模型怕花冤枉钱。这三个顾虑都成立,但都没法在选型阶段回答,得先动手排查。下面这条顺序,是让问题从模糊变具体。
核心就一句话:先分清你缺的是能力,还是数据。能力问题换模型有意义,数据问题换多少次模型都一样。区分方法不复杂,但很多人跳过这步直接比报价,最后比出来的结论没什么参考价值。
先别比模型,先划清你要解决的是哪一层问题
把需求摊开,拆成三层来看。语言层面的活,比如改写、抽取、归纳、问答;领域知识的活,比如法规条款怎么套、行业术语什么口径;业务流程的活,比如审批怎么走、金额怎么算、跟哪个系统联动。前两层才该在模型层面找答案,第三层基本是工程问题,塞给模型只会让排查更难。
麻烦在于这三层经常混在一个需求里。「读合同给出风险点」这种,既考语言也考领域知识,还牵扯你们自己的风险口径。排查时把三层分开记,每层单独标注表现,不然换几轮模型你都说不清到底哪儿不行。
第二个问题:领域知识在你手里,还是在别人兜里
这条判断很实用:把一段真实材料贴进对话框,问一个你确定答案的问题。答得对,说明知识在公开语料里,模型是知道的,问题出在提示写法或者任务拆解;答不出来或者答得离谱,说明知识只存在你的文档、工单、内部规范里,通用模型再强也读不到。前者是能力问题,后者是数据通道问题。
| 现象 | 大概率原因 | 先做什么 |
|---|---|---|
| 贴材料能答对,不贴就答错 | 知识不在模型里,在数据通道上 | 先接检索,别换模型 |
| 贴材料也答错,但答得有条理 | 理解或口径问题 | 改指令、补示例,再看微调 |
| 答得对但格式总不对 | 输出规范问题 | 用结构化输出或后处理兜 |
| 张口就来、内容对不上原文 | 缺依据约束 | 要求引用原文片段再作答 |
这张表只是起点。真实排查里最常见的误判,是把「模型不知道我们的规定」当成「模型不够聪明」,然后一路往更贵的方案上走。先把表格里第一行排除掉,能省掉很多无效对比。
排查顺序:先调通用,再补检索,最后才谈专门模型
- 第一步:通用模型跑真实样本挑二三十道来自真实业务的题,用清晰指令跑一遍。逐条记录错法:理解错、编造、格式错、压根不知道。这一步的目的不是选型,是拿到一个基线。
- 第二步:接上内部资料再跑同一批把文档、工单、内部规范做成可检索的来源,接进流程后重跑同一批题。看错误类型有没有变。变了,说明路走对了;一点没变,再考虑往模型本身动刀。
- 第三步:确认剩余错误是否集中在风格和口径如果剩下的错主要是固定格式、表达风格、术语口径这些,才轮到微调或者直接买垂类方案。前提是前两步已经做完了。
- 第四步:专门方案跟基线对比同一批题、同一套判定标准,把专门方案跑一遍,跟第一步的基线比。涨没涨、涨在哪类题上,都要能说清楚,否则不上。
顺序反过来的代价很具体:你会拿一个模型能力问题,去付数据工程的钱。更常见的是微调做完发现效果没动,因为知识本来就在文档里,模型缺的是取到它的路径,不是参数。
验收口径要先定,不然三类模型永远比不出结果
验收题从真实业务里挑,别用网上找的通用题。数量不用多,但要覆盖你最容易翻车的场景。每道题提前写好判定:答对、答对但格式不对、答错、编造。编造和答不上来要分开统计,前者是风险,后者是能力,处理方式完全不同。
- 题面用你业务里的原话,别改写成考试题,改写后就测不出真实难度
- 判定标准写在跑之前,跑完再定标准,结论一定会往你希望的方向偏
- 同一批题至少跑两遍,看结果稳不稳,抖得厉害说明结论不可靠
- 加一条成本口径:单次任务的耗时和花费,专门方案在这两项上常先输一截
- 样本里留一两道明显超出范围的题,看模型是老实说不知道,还是硬编
成本这块别凭印象。各家报价和计费口径差得不少,去 价格追踪(/price-watch) 看当时的口径再算,别拿记忆里的数字做决策。
什么情况下这套排查不适用
强监管场景要反过来。金融、医疗这类对模型来源和训练数据可追溯有硬要求的,先看合规再看效果,排查顺序倒着走,不然做出来的方案过不了审。任务本身撞上能力天花板的,比如超长文档或者特殊模态,先确认通用模型有没有这个能力,没有就换方向,别在名字上打转。
还有一种情况:预算和时间都很紧,错误代价又低,比如内部草稿润色。直接上通用模型加人工复核,比走完整排查流程划算。排查本身是有成本的,不是所有项目都值得走一遍。
先问缺的是能力还是数据,再问该买谁。顺序对了,三类模型的差别自己就浮出来了。下一步想先摸清手上模型的基础表现,去跑一遍速度与可用性测试,拿到自己的基线再谈选型。→
常见问题
通用大模型加内部资料,和直接买行业大模型差在哪?
差在知识和表达两处。检索增强解决的是「知不知道」,模型本身没变,回答口径和稳定性还是原来的水平。行业大模型通常在表达风格和领域任务格式上做过训练,但它读不到你自家最新文档。多数团队先补检索,剩下的格式问题再谈微调。
怎么判断一个号称垂直的模型是不是真的垂直?
看它能不能在你的真实题目上稳定答对,而不是看宣传页上的领域标签。拿十几道自己业务里的题跑一遍,重点看答错时的表现:是含糊带过,还是编出一个像模像样的错误答案。后者在业务里更难处理。站内 /tools/quality-check 可以做基础的质量检测。
三类模型能不能混着用?
可以,而且常见。通用模型负责改写、归类、抽取这类通用活,专门模型或检索通道负责领域知识,规则和计算交给代码。麻烦在于要分清每次请求走哪条路,这条路由逻辑得自己维护,别指望靠一个模型全包。