模型选型避坑指南

选型会上最容易出现的场面，是有人甩一个榜单截图说就它了，你心里没底却接不上话。这篇不评谁强谁弱，只给一套动作顺序：把任务拆成能验收的条目，按几个固定维度过一遍候选，再回头核对真实价格和可用性。适合要签字拍板的人，也适合写方案的人。

选型会上最容易出现的场面，是有人甩一张榜单截图说就它了，你心里没底却接不上话。问题不在于榜单假，而在于它回答的通常不是你的问题。这篇不评谁强谁弱，只给一套能照着走的动作顺序：先把任务拆成能验收的条目，再按几个固定维度过一遍候选，最后回头核对真实价格和可用性。

适合要签字拍板的人，也适合写方案的人。整套流程不到一天就能跑完第一轮，代价是你得先承认一件事：没有验收标准的比较，本质上都是印象分。先把标准写下来，后面的争论才有落点。

先定验收标准，再谈候选模型

顺序错了后面全错。很多团队是先列五六家候选，再倒推标准，结果标准会不自觉地向某一家已有的能力靠拢。正确做法是把业务需求翻译成可验收条目，每条都能拿样本去测。写不出可测条目，说明需求本身还没想清楚，这时候选任何一家都是赌。

• 输入形态：最长输入有多长、是否含表格图片、是否多语言混杂，这些决定了哪些候选直接出局
• 输出格式：是自由文本还是要严格结构化，后者必须测格式服从率而不是只看内容对不对
• 可容忍错误率：区分「错了会怎样」，客服话术错一句和合同条款错一句完全不是一个量级
• 响应时间上限：在线交互按用户耐心算，离线批处理按整体窗口算，两者别用同一把尺子
• 单次处理量级：决定你是走单条调用还是批处理通道，也决定成本怎么算

还要区分离线批处理和在线交互两类任务。前者看单位成本和总吞吐，后者看延迟波动和限流表现。用同一套标准去比这两类任务，必然选出一个在其中一类上明显吃亏的方案。另外，明确谁签字、谁承担换模型的代价，责任人不清时选型会退化成多方都能接受但谁都不满意的折中。

四类高频坑，按顺序排查

下面四类的排查成本从低到高排列，建议按这个顺序过。前两类是认知层面的，改起来不花钱；后两类要动手算，但能避免上线后返工。

1. 先拆掉名次依赖把某个公开测评的名次当成结论，是最常见也最省钱就能避免的坑。题目饱和、自评上报、任务不匹配都会让名次失真。做法是先看这项测评的题型是否贴近你的任务，不贴近就当参考而非依据；要横向对比，去站内/model-rankings 看口径说明，别只看顺序。
2. 准备边界样本集只测理想样本必然翻车。专门准备一批边界样本：超长输入、格式混乱、夹杂多语言、本该拒答的请求、空输入。跑一遍看这些情况下是报错、静默截断还是硬编。这批样本跑下来的差距，往往比理想样本大得多。
3. 折算真实并发很多平台标称的额度与实际可持续并发不是一回事。按你的峰值请求数折算一遍，再对照站内各家的限制说明核对。重点看突发流量下的表现和被限流后的重试策略，而不是看平均值。
4. 按业务闭环算账重试、上下文重复携带、失败请求、人工复核都是成本。算账时要按一次完整业务闭环算，不是按一次成功调用算。想知道当时的各项单价，到站内/price-watch 核对当时的数字再乘，别用记忆里的旧数据。

还有个隐性坑是退出成本。迁移到另一家的工作量有多大，提示词、结构化输出、工具调用协议是否强绑定，绑定越深越要提前留后路。选型时把「以后怎么换」和「现在用哪家」放在同一张纸上评估。

对照表：候选模型要过的六项

把候选模型填进下面这张表逐项打分，能有效避免某一个亮点掩盖其他短板。第二列是判断要点，第三列是不满足时的后果，最后列给出该去哪里核数据。

别嫌麻烦，这张表填完通常只需要半天。它的价值不在于选出唯一最优解，而在于当有人质疑你的选择时，你能指出是哪几项权衡后得出的结论，而不是说感觉它比较强。

拍板动作与复盘节奏

标准和数据都齐了，拍板本身反而简单。关键是别一次性全量切换，先切一条非核心业务线跑一个观察周期，用同一套验收条目对比新旧表现。观察周期内保留回滚能力，确认稳定后再扩大范围。

• 把结论写成可复核的记录：候选、维度、判断依据、参考的站内页面，换人接手时不用从头再来
• 观察期内固定用同一批边界样本复测，避免样本换了导致结论无法对比
• 定一个复查触发条件，比如调用量级翻倍、单价明显变化、出现新的强需求，而不是按固定时间点机械重选
• 复查时先看/price-watch 的当前数字和/sites 的可信度记录，确认变化是否真的影响到你

这套框架也有不适用的情况。如果任务本身还没想清楚要什么，或者只做一次性验证，就不必走完整流程，先用最便宜的通道跑通再说。过度选型的代价，有时比选错还大。

选型不是选出最强的那个，而是选出你能说清楚为什么是它的那个。