手里要定一个国产模型当主力,Kimi、豆包、通义都试过一圈却还是拿不准,多半是比法不对:拿跑分横向排一遍,落到自己任务上又全变样。这篇不给结论,只给一套可复用的对照表:先按任务类型分槽位,再逐项核对上下文、工具链、接入方式和价格口径,最后用站内页面把数字补齐。
手里要定一个国产模型当主力,Kimi、豆包、通义都试过一圈却还是拿不准,多半是比法不对:拿跑分横向排一遍,落到自己任务上又全变样。这篇不给结论,只给一套可复用的对照办法——先按任务类型分槽位,再逐项核对上下文、工具链、接入方式和价格口径,最后用站内页面把当时的数字补齐。
顺序很重要:先定自己要干什么,再去看各家能力页。反过来做,很容易被某一家的宣传点带偏,最后选了一个在你的任务上用不到的能力堆得最高的模型。下面四步走完,再加一节说明什么情况下这套比法不适用。
第一步:先按任务分槽位,别按模型排名选
把手上要跑的事拆成 3 类槽位:长文档读写、日常问答与写作、结构化抽取或代码。一个模型不必通吃,也不该要求它通吃。同一个团队里,长文档用一家、代码补全用另一家,是很正常的组合,别为了「统一」硬压成一个。
- 长文档读写
- 合同、论文、会议纪要这类一次塞进去的东西,关心的是塞进去之后还剩多少可用空间
- 日常问答与写作
- 邮件、文案、答疑,关心的是语气稳定、事实不乱编、连续对话不跑偏
- 结构化抽取或代码
- 要输出固定字段、固定格式,或者接进 IDE,关心的是格式服从率和工具链支持
- 每个槽位写清硬约束:单次输入大概多长、要不要联网、要不要输出 JSON、是否必须走 API
- 凡是槽位用不到的能力,一律不算加分项,哪怕它在别处很亮眼
- 给每个槽位标注调用量级:每天几次还是一次跑几千条,这决定后面成本怎么算
- 标注容错度:出错能不能人工兜底,还是必须一次过
第二步:四个维度做对照表
槽位定完,就可以按四个维度逐项打分。注意这里的分数是你自己打的,不是抄来的;四个维度权重按你的任务调,不要把四项简单相加。
| 维度 | 看什么 | 怎么验证 |
|---|---|---|
| 上下文与长文 | 真实文档塞进去后还剩多少可用空间 | 超长上下文的内存占用先到 /models/deploy 估算 |
| 接入方式 | 官方 API、聚合平台还是本地部署 | 决定后面能不能换模型、单价怎么算 |
| 生态与工具链 | 编程套餐、插件、知识库工具各自支持哪几家 | 到 /ai-nav/category/ai-model-platform 对照 |
| 计费口径 | 按 token、按次还是包月额度 | 口径不同就不能直接比,先统一成「跑完这个槽位多少钱」 |
接入方式这一项最容易被低估。走官方 API 和走聚合平台,表面上是同一个模型,但限流、超时处理、换模型的代价完全不同。如果一个槽位只是临时验证,聚合平台省事;如果是长期主力,官方 API 的稳定性更值得优先考虑。
生态那一项要落到具体动作:你团队现在用的编辑器、知识库、自动化工具,分别支持哪几家。不支持的,就算模型本身强,也要额外写胶水代码,这笔成本要算进总分。
第三步:价格和额度别背数字,去站内现查
- 查官方按量价各家官方 API 的按量价在 /official-api 有整理,注意区分输入和输出单价,别只看一个数
- 看活动与波动遇到活动价或者调价,到 /price-watch 核对当时的数字,不要用记忆里的旧价算账
- 折算订阅与套餐订阅和编程套餐的额度折算方式不同,个人用户重点看 /coding-plans,把额度换回你槽位的调用量
- 回填对照表把算出来的「跑完这个槽位多少钱」写回第二步的表格,四项维度才算齐
问自己一个问题:这个槽位是大流量长期跑,还是一次性验证。前者看单价和限流上限,后者看有没有免费额度、试用门槛高不高。两种情形的答案经常是相反的,别用一套标准套所有槽位。
什么情况下这套比法不适用
- 团队已经绑定了某家云或某套工具链,那就先看接入成本,能力差距排在后面,强行迁移可能得不偿失
- 涉及数据不出内网的场景,先过私有化部署这一关,云端对比结论直接作废
- 任务本身极窄,比如只做固定格式的字段抽取,小模型加提示词可能比横向比大模型更划算,先做基线再比
- 调用量极小、只是偶尔问问,那体验和免费门槛比单价重要得多,对照表可以只留两列
还有一种情况:你的任务是创意类、没有客观对错,这时候对照表里「格式错」「漏答」都难量化,更合适的做法是双模型并行跑一段时间,让人来选,而不是靠打分定胜负。
落地动作:两周内怎么验一遍
- 建样本集挑 10 到 20 条真实样本,覆盖你划分的每个槽位,别用公开题目,公开题已经被各家优化过
- 同批跑候选同一批样本分别跑候选模型,记录漏答、格式错、需要返工的比例,而不是只看回答像不像
- 写结论页把结论写成一页纸:每个槽位定一个主用模型加一个备用,并写清切换触发条件,比如连续几次格式错就换
- 上线后回看上线后定期回看 /usage 和 /ai-status,看用量与可用性有没有变化
切换触发条件一定要提前写死,不然真出问题时容易拖,一边抱怨一边继续用。条件可以是错误率、响应超时次数,也可以是成本超出预算范围,具体阈值按你的容忍度定。
选型不是选出最强的那个模型,而是给每个槽位配一个够用、能换、算得清成本的模型。下一步把手上任务拆成槽位后,先去站内的模型资料库和价格追踪页把当时的数字核对一遍,再填你的对照表,比凭印象拍板靠谱得多。→
常见问题
Kimi 在长文本这块是不是一定比其他国产模型强?
不一定。各家都在做长上下文,差距更多体现在超长输入下的稳定性和成本上。正确做法是拿你真实长度的文档各跑一遍,看有没有中途丢信息、总结偏移,而不是只看标称上限。具体规格到站内模型库核对。
豆包、通义这些和 Kimi 能直接混用吗?
接入层可以混用,前提是你用聚合平台或统一网关,把调用方式包一层。但提示词、输出格式的适配各有差异,切模型前要重跑一遍回归样本,别默认换个名字就能直接替换。
预算有限先上哪家?
先按槽位分优先级,把最高频、最耗人的那个槽位放第一个换。预算紧的时候优先选有免费额度或低价档的平台试跑,验证通过再谈长期单价。具体单价一律到站内价格页看当时的数字,别按记忆里的价格做预算。