模型选型的理由和特点

模型与算力

给做技术决策的人一套模型选型的判断依据:从任务匹配、能力边界到成本与迁移风险,把选型理由拆成可核对的清单。

团队要接一个大模型,会议室里通常先吵参数和榜单,最后谁也没说清为什么选它。这篇不评哪个模型强,而是把「为什么选这个」拆成几个可验证的维度:任务类型、能力边界、成本口径、可控性与退出成本。按这个顺序走一遍,你能给出一个有理由、能复盘、出了事也知道往哪退的选型结论。

团队要接一个大模型,会议室里通常先吵参数和榜单,最后谁也没说清为什么选它。这篇不评哪个模型强,而是把「为什么选这个」拆成几个可验证的维度:任务类型、能力边界、成本口径、可控性与退出成本。

按这个顺序走一遍,你能给出一个有理由、能复盘、出了事也知道往哪退的选型结论。核心不是找「最强」的那个,而是找到「在你的约束下最合适」的那个,并且能把这个理由写进决策文档里。

先定任务类型,再谈模型特点

很多人一上来就问「哪个模型最好」,但这个问题没有答案,因为不同任务对模型的要求完全不一样。正确顺序是先把自己的任务归类,再拿类别的硬要求去筛模型。归类之后你会发现,候选池从十几个直接缩到三五个。

  • 短问答与分类:要求稳定、便宜、响应快,对长文本能力没要求
  • 长文生成与改写:吃上下文,看超长输入后质量是否掉
  • 代码与结构化输出:要稳 JSON、稳函数调用,对话好看不算数
  • 多模态解析:图片、表格、扫描件,测的是解析准确率不是聊天

归类完再列硬约束:输出要多长、是否必须返回稳定 JSON、是否要联网或读文件、延迟能不能忍。这几条比任何榜单都更能筛掉候选。同一任务写 3-5 条真实输入做小样测试,比看榜单直接得多;榜单只用于初筛。

约束类型要问的问题不满足的后果
输出长度单次输出能否覆盖最长用例截断、需要二次拼接
格式稳定JSON 解析失败率是否可接受下游流程频繁报错
时效知识要不要外挂检索答非所问、编造事实
延迟用户能忍几秒体验崩、被迫换模型

什么情况下不适用:任务本身还没定义清楚时,选型结论只能算暂定。先把验收标准写出来,再回来选,不然选完还要推翻。

能力边界的三个易被忽略点

能力边界不是「这个模型会不会做」,而是「在什么条件下它还做得动」。下面三个点是最常在选型后翻车的地方,建议逐条拿自己的数据测一遍,而不是靠感觉。

  1. 测上下文与长文喂进你真实文档的最长版本,看超长之后质量是否掉。规格字段去 /models 看,实际表现去 /models/deploy 做测算。
  2. 测结构化输出与工具调用要接 Agent 或函数调用时,先单独测 JSON 稳定性和工具调用成功率,别用对话表现替代。
  3. 测知识新鲜度与幻觉倾向涉及时效信息必须配检索,参考 /stacks/vector-dbs 与 /embeddings 选型,别指望模型自己知道。

这三个点是相互独立的:一个模型长文很强,不代表它 JSON 稳;JSON 稳,也不代表它知道新东西。所以别用「综合感受」下结论,得分项测、分项记。

什么情况下不适用:垂类场景比如法律、医疗、金融,建议先看 /stacks/specialized-models 再决定是否用通用模型硬撑,硬撑的代价往往在后期才暴露。

成本口径要统一了再比

成本比较最常见的错误,是拿 A 家的输入价去对 B 家的输出价,或者只看单价不看用量结构。正确做法是先把三家候选换算到同一单位,再比总账。

  • 统一口径:换算成每千次任务成本、每万字成本或每张图成本,用 /tools/model-cost-calculator 和 /tools/token-price-calculator 对齐
  • 算隐性成本:重试、失败重跑、上下文冗长带来的额外 token、限流排队,都是真实支出
  • 量延迟基线:用 /tools/speed-test 先量出你的网络基线,再看模型本身响应,两者混在一起容易误判「模型慢」
  • 查官方价目:到 /official-api 核对当时的数字,租卡与按量 API 的取舍参考 /compute/tco
成本项怎么量化容易被漏掉的原因
显性单价统一到每千次任务各家计价维度不同
重试成本失败率 × 单次成本失败率没单独统计
上下文冗余实际输入 token 均值按理论值估算
排队时间高峰期排队占比只测了低谷

什么情况下不适用:流量极小或波动极大时,固定订阅和按量计费的结论会反过来。小流量下固定成本更划算,波动大时按量更安全,按你的实际曲线判断。

可控性与退出成本:决定长期用不用

前面三步是「现在能不能用」,这一步是「以后还愿不愿意用」。很多团队选型时不算退出成本,结果用了半年发现换不动,只能继续加钱。

数据合规
能不能走私有化、要不要过内网,参考 /safety 与 /compute/domestic 判断可行路径
供应商稳定性
看服务历史与限流记录,/ai-status 和 /resets 反映一部分,第三方渠道另按 /tools/verify 的检测口径核实
退出成本
换模型要重写多少提示词、重跑多少评测、下游依赖多少,列一张迁移清单,参考 /ai-nav/category/ai-api 里同类接口的兼容情况

把退出成本写成清单之后,你会发现有些模型「现在便宜但换不起」,有些「单价高但接口通用、切走容易」。这两种在长期账上是反过来的,选型时要把这张清单一起交给决策人。

什么情况下不适用:一次性的临时项目不值得为可控性多付成本,直接选最省事的那条路。可控性是给要长期跑的业务的,不是给两周就下线的实验的。

下一步把候选模型按任务类型、能力边界、成本口径、退出成本四个维度填一张对照表,数据到站内相关页面核对当时的数字,别凭印象拍板。

常见问题

模型选型到底该先看榜单还是先看自己的任务?

先看自己的任务。榜单适合把候选从几十个缩到三五个,榜单的题目和你手头的活往往不是一回事,题饱和和任务不匹配的问题在 /benchmarks/registry 里有说明。缩小范围后必须用自己的数据跑一遍小样测试,再定结论。

同一个任务,选官方 API 还是走中转、租卡自建?

看三点:数据能不能出内网、流量是否稳定到值得固定成本、以及你对延迟和可用性的容忍度。流量小且波动大走按量最省心;有合规硬要求或长期高负载,再看租卡和私有化。算总账可参考 /compute/tco。

选型结论多久要复检一次?

不用定期复检,而是按触发条件复检:主力模型有明显更新、价格或限流政策调整、任务类型变化、出现一次影响业务的故障。价格和版本变动可在 /price-watch 与 /models 追踪,避免凭印象判断。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。