通用大模型、行业大模型、垂直大模型怎么排查:先分清你缺的是能力还是数据

模型与算力

把三类模型混在一起比价格没意义。这篇给一套排查顺序:从任务边界、数据归属到验收口径,判断该用哪类模型、卡在哪一步。

很多人搜这三个词,其实不是想搞懂定义,是手里有个项目拿不准该往哪条路上走。找通用模型怕不够专,找行业模型怕被绑定,找垂直模型怕花冤枉钱。这篇不铺概念,给一条能照着走的排查顺序:先确认你缺的是能力还是数据,再决定往哪类模型上试。

搜这三个词的人,多半不是想背定义。手里有个项目,拿不准该往哪条路上走:找通用模型怕不够专,找行业模型怕被厂商绑住,找垂直模型怕花冤枉钱。这三个顾虑都成立,但都没法在选型阶段回答,得先动手排查。下面这条顺序,是让问题从模糊变具体。

核心就一句话:先分清你缺的是能力,还是数据。能力问题换模型有意义,数据问题换多少次模型都一样。区分方法不复杂,但很多人跳过这步直接比报价,最后比出来的结论没什么参考价值。

先别比模型,先划清你要解决的是哪一层问题

把需求摊开,拆成三层来看。语言层面的活,比如改写、抽取、归纳、问答;领域知识的活,比如法规条款怎么套、行业术语什么口径;业务流程的活,比如审批怎么走、金额怎么算、跟哪个系统联动。前两层才该在模型层面找答案,第三层基本是工程问题,塞给模型只会让排查更难。

麻烦在于这三层经常混在一个需求里。「读合同给出风险点」这种,既考语言也考领域知识,还牵扯你们自己的风险口径。排查时把三层分开记,每层单独标注表现,不然换几轮模型你都说不清到底哪儿不行。

第二个问题:领域知识在你手里,还是在别人兜里

这条判断很实用:把一段真实材料贴进对话框,问一个你确定答案的问题。答得对,说明知识在公开语料里,模型是知道的,问题出在提示写法或者任务拆解;答不出来或者答得离谱,说明知识只存在你的文档、工单、内部规范里,通用模型再强也读不到。前者是能力问题,后者是数据通道问题。

现象大概率原因先做什么
贴材料能答对,不贴就答错知识不在模型里,在数据通道上先接检索,别换模型
贴材料也答错,但答得有条理理解或口径问题改指令、补示例,再看微调
答得对但格式总不对输出规范问题用结构化输出或后处理兜
张口就来、内容对不上原文缺依据约束要求引用原文片段再作答

这张表只是起点。真实排查里最常见的误判,是把「模型不知道我们的规定」当成「模型不够聪明」,然后一路往更贵的方案上走。先把表格里第一行排除掉,能省掉很多无效对比。

排查顺序:先调通用,再补检索,最后才谈专门模型

  1. 第一步:通用模型跑真实样本挑二三十道来自真实业务的题,用清晰指令跑一遍。逐条记录错法:理解错、编造、格式错、压根不知道。这一步的目的不是选型,是拿到一个基线。
  2. 第二步:接上内部资料再跑同一批把文档、工单、内部规范做成可检索的来源,接进流程后重跑同一批题。看错误类型有没有变。变了,说明路走对了;一点没变,再考虑往模型本身动刀。
  3. 第三步:确认剩余错误是否集中在风格和口径如果剩下的错主要是固定格式、表达风格、术语口径这些,才轮到微调或者直接买垂类方案。前提是前两步已经做完了。
  4. 第四步:专门方案跟基线对比同一批题、同一套判定标准,把专门方案跑一遍,跟第一步的基线比。涨没涨、涨在哪类题上,都要能说清楚,否则不上。

顺序反过来的代价很具体:你会拿一个模型能力问题,去付数据工程的钱。更常见的是微调做完发现效果没动,因为知识本来就在文档里,模型缺的是取到它的路径,不是参数。

验收口径要先定,不然三类模型永远比不出结果

验收题从真实业务里挑,别用网上找的通用题。数量不用多,但要覆盖你最容易翻车的场景。每道题提前写好判定:答对、答对但格式不对、答错、编造。编造和答不上来要分开统计,前者是风险,后者是能力,处理方式完全不同。

  • 题面用你业务里的原话,别改写成考试题,改写后就测不出真实难度
  • 判定标准写在跑之前,跑完再定标准,结论一定会往你希望的方向偏
  • 同一批题至少跑两遍,看结果稳不稳,抖得厉害说明结论不可靠
  • 加一条成本口径:单次任务的耗时和花费,专门方案在这两项上常先输一截
  • 样本里留一两道明显超出范围的题,看模型是老实说不知道,还是硬编

成本这块别凭印象。各家报价和计费口径差得不少,去 价格追踪(/price-watch) 看当时的口径再算,别拿记忆里的数字做决策。

什么情况下这套排查不适用

强监管场景要反过来。金融、医疗这类对模型来源和训练数据可追溯有硬要求的,先看合规再看效果,排查顺序倒着走,不然做出来的方案过不了审。任务本身撞上能力天花板的,比如超长文档或者特殊模态,先确认通用模型有没有这个能力,没有就换方向,别在名字上打转。

还有一种情况:预算和时间都很紧,错误代价又低,比如内部草稿润色。直接上通用模型加人工复核,比走完整排查流程划算。排查本身是有成本的,不是所有项目都值得走一遍。

先问缺的是能力还是数据,再问该买谁。顺序对了,三类模型的差别自己就浮出来了。
下一步想先摸清手上模型的基础表现,去跑一遍速度与可用性测试,拿到自己的基线再谈选型。

常见问题

通用大模型加内部资料,和直接买行业大模型差在哪?

差在知识和表达两处。检索增强解决的是「知不知道」,模型本身没变,回答口径和稳定性还是原来的水平。行业大模型通常在表达风格和领域任务格式上做过训练,但它读不到你自家最新文档。多数团队先补检索,剩下的格式问题再谈微调。

怎么判断一个号称垂直的模型是不是真的垂直?

看它能不能在你的真实题目上稳定答对,而不是看宣传页上的领域标签。拿十几道自己业务里的题跑一遍,重点看答错时的表现:是含糊带过,还是编出一个像模像样的错误答案。后者在业务里更难处理。站内 /tools/quality-check 可以做基础的质量检测。

三类模型能不能混着用?

可以,而且常见。通用模型负责改写、归类、抽取这类通用活,专门模型或检索通道负责领域知识,规则和计算交给代码。麻烦在于要分清每次请求走哪条路,这条路由逻辑得自己维护,别指望靠一个模型全包。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。