模型选型方法论

选模型最容易踩的坑是先看榜单再想任务：跑分高的接进项目，结果格式不稳、延迟超标或根本过不了合规。这篇不讲哪家强，只给一套判断顺序——先把任务和硬门槛列清，再筛候选，再用自己的样本小规模试跑，最后按同一口径复核。适合要给别人交代选型理由的人。

选模型最怕的顺序是先翻榜单、再想任务：榜单上排在前面，接进项目却格式不稳、延迟超标，或者数据根本出不了内网。这篇文章不评判哪家强，只讲一套能照着走的判断顺序，适合要向上级或同事交代选型理由的人。

顺序是：先把任务拆成能判断的几类动作，再列硬门槛淘汰掉一批，然后把候选缩到两三个，用自己的样本小规模试跑，最后按同一口径复核、把结论写成一张能复盘的表格。全程只改一个变量，结论才说得清。

第一步：把任务拆成可判断的几类动作

拿到需求先别问用哪个模型，先问这活在做什么。是单轮改写、长文抽取、多步推理、严格结构化输出，还是要处理图像语音？类别不同，能力权重完全不一样。把几类动作混在一起谈，最后一定选出个四不像，谁都不满意。

• 给每类动作标出「做错一次的代价」：能人工兜底的可以容忍波动，直接对外的必须留复核位
• 写清输入形态和输出形态：一段话、一张表、一段 JSON 还是一张图，输出格式越死，对模型的约束能力要求越高
• 调用量级和时延要求先记成高/中/低区间，不用算精确值，后面筛候选时再看具体数字
• 同一件事如果一半是改写一半是抽取，就拆成两步分别选型，不要指望一个模型两头都最优

第二步：先过硬门槛，再谈效果

效果讨论之前先过门槛。门槛是一票否决，不是打分项。常见的几条：数据能不能出内网、有没有地区或行业合规要求、单次请求能不能接受排队、输出结构是不是必须固定。过不去的直接淘汰，别标成备选，备选池越脏后面越难比较。

硬门槛

不满足就直接出局的约束，比如数据不得出内网、必须有固定输出结构

软偏好

可以权衡的项，比如语气更自然、文案更简洁，用打分排序即可

预算上限

按峰值时段写上限，不要写平均值，超限通常发生在最忙的时候

时延上限

写清楚用户能等多久，排队和推理时间要一起算进去

规格和计费口径不要凭印象。到 AI 模型库（models） 看模型支持的能力和上下文范围，到 官方 API 价格（official-api） 核对当时的计费方式，包括输入输出是否分开算、有没有最低消费或批量折扣。数字随时会变，写进方案时要注明采集时间。

• 门槛过不去的模型从候选表里删掉，不要留着占位
• 把每条门槛写成可验证的问题，比如「能不能签数据处理协议」，而不是「安全性好不好」
• 如果门槛涉及合规，让法务或安全同事确认一遍，别自己下结论
• 把预算和时延写成上限加余量，留一到两成的缓冲应对峰值

第三步：缩到两三个候选，用自己的样本试跑

候选别超过三个。每多一个，验证成本翻倍，而且人容易被最后跑的那个结果带偏。缩候选靠的是门槛清单加粗略的能力匹配，不是靠感觉。缩完再进入试跑，这一步才是真正花钱花时间的地方。

1. 准备样本从自己业务里挑，不用网上通用题。边界样本、脏数据样本、最容易出格式错误的样本各准备几组，覆盖真实分布的难点。
2. 固定变量同一批样本、同一套提示词跑所有候选，只改模型这一个变量，否则比出来的差异说不清是谁造成的。
3. 记录失败类型不要只记成功率。是格式崩、漏字段，还是答得对但用词不能上线，这三类问题的补救成本差很多。
4. 算一遍账把试跑的调用次数乘上单价，估出真实业务量下的月成本，到 价格追踪（price-watch） 看当时的报价再算，不要用记忆里的价格。

试跑阶段最容易偷的懒是只跑顺利样本。真正决定能不能上线的，往往是那几条脏数据上的表现。哪家在你的边界样本上崩得少、崩得有规律，就优先留下。崩得没规律、每次错法都不一样，说明稳定性差，后面运维会很累。

第四步：按同一口径复核，把选型写成一张表

复核时维度要固定，别这次看效果、下次看价格，否则几份结论没法横向比。建议固定成效果、稳定性、时延、成本口径、合规与依赖风险五列，每列都注明数据来源和采集时间，别人接手时能顺着查回去。

效果这一列，可以到 AI 测评榜单（benchmarks） 看别人怎么测，再对照自己样本的结论。两者不一致时以自己的样本为准，但要写清为什么不一致——通常是测试集和真实数据的分布差得远。

• 结论里写明适用范围：什么业务、什么量级、什么时延预期下成立
• 标出保质期：任务变化快或上游模型换代频繁时，结论有效期要写短，别当长期承诺
• 留一个回退位，写清换回上一个方案要动哪些代码、验证哪些点，换模型的核对顺序可以参考 模型换代了要不要跟（model-upgrade-migration-checklist） 那一篇
• 把不适用条件写在同一张表下面，比如数据合规要求升级、调用量翻数倍时，这份选型需要重做

选型不是选最强的那个，是选在你自己的样本和约束下最说得清的那个。