做选型最怕的不是选错,是讲不清为什么选它——嘴上说得明白,落到文档就只剩几段跑分截图和一句「综合体验更好」,评审一追问成本、并发、许可证就卡壳。这篇给一份可以直接抄进文档的报告骨架:每一节该写什么、哪些数字要去站内哪一页现场取、什么情况下这套模板不适用。
做选型最怕的不是选错,是讲不清为什么选它。嘴上说得明白,落到文档就只剩几段跑分截图和一句「综合体验更好」,评审一追问成本、并发、许可证就卡壳。把报告写成一份能自查的清单,比把结论写得漂亮更有用。
下面这份骨架可以直接抄进你的技术文档:先定结论页再倒推正文,评测口径写成可复现的对照,成本按三种口径分开算,最后把许可证和回退方案钉死在文档里。每节都标了该去站内哪一页取当时的数字。什么情况下这套模板不适用,也会在对应小节说清楚。
报告骨架:先定结论页,再倒推正文
很多人写报告的毛病是从背景介绍开始铺,铺到第八页才说推荐谁。评审的耐心在前两页就用完了。正确做法是先写结论页,写不出来就说明你自己还没想清楚,此时应该回去砍需求,而不是继续凑对比表。
- 结论页只放三件事:推荐哪个方案、替代方案是什么、什么条件下这个结论会失效;这三句写完再动笔写后面,能省掉一半返工
- 正文按「需求边界 → 候选清单 → 评测口径 → 成本与容量 → 风险与回退」排,评审的阅读顺序和这个一致,别把成本塞在附录里
- 候选清单控制在三到五个;超过五个说明需求没收敛,先回去砍需求,而不是继续加对比表的行数
- 结论页要写清适用范围,比如「适用于内网部署、日调用量中等、对首字延迟敏感的问答场景」,写不出这句说明还没想清
- 每节末尾留一行「本节待确认项」,把没定的事显式挂出来,比藏在正文里被追问强
判断标准很简单:把报告给一个完全没参与选型的同事看,他能在一分钟内说出你推荐什么、为什么、什么情况下不推荐。说不出来就是骨架没搭好,跟内容深浅无关。
评测口径:把主观感受换成可复现的对照
公开榜单能帮你缩小候选范围,但代替不了内部评测。你业务里最高频的两三类输入,才是真正决定体验的东西。建议自建一小批真实任务样本当内部评测集,样本来源写进报告,方便评审判断代表性。
- 建内部评测集从真实工单、日志或客服记录里抽一批任务,覆盖最高频的两三类输入,脱敏后固定下来。样本数量够跑出趋势就行,关键是要固定,后面每次换模型都用同一批。
- 统一跑同一套样本每个候选跑完全相同的输入和参数,别给某个模型开小灶。记录成功、失败、勉强能用三档,不要只给一个平均分。
- 贴原文片段失败样本要附上输入和输出的原文片段,这是评审最看的部分。只写「准确率偏低」没人能判断,贴出三条真实错例比一个分数有说服力。
- 分两次测延迟一次在空闲时段测基线,一次在接近真实并发下测。空闲基线可以先用 接口测速(/tools/speed-test) 这类页面量出来,作为报告里的参照口径。
什么情况下这套口径不成立:样本量太小、任务类型单一、或者业务本身还在频繁变更需求,这时评测结论只能当参考不能当依据。报告里要老实写上这句,否则评审误以为结论很硬。
成本与容量:按量、按订阅、按卡三种口径别混着算
成本段最容易出错的地方是把不同计费口径堆在一张表里比大小。按量调用、按订阅、自建租卡是三种完全不同的成本结构,混着算必然得出错误结论。正确做法是分三块写,每块注明数据来源和取数口径,具体数字一律去站内页面取当时的数。
| 成本块 | 包含什么 | 去哪儿取数 |
|---|---|---|
| 调用费 | 按量计费的接口调用、超额部分怎么算 | 官方 API 价格(/official-api) |
| 算力或订阅费 | 租卡、包月、预留实例等固定或半固定支出 | 租卡价格指数(/compute/price-index) |
| 人力与集成费 | 改造、联调、运维投入的估算 | 按团队实际情况估,写清假设 |
| 容量口径 | 并发、显存、机器数怎么估 | 几张卡够用(/compute/sizing) |
| 综合折算 | 冷启动、限流、弹性扩缩的代价 | 买卡还是租卡(/compute/tco)、开源模型比价(/inference) |
容量段别只写「支持高并发」。要把假设写出来:单卡能撑多少并发、显存算不算得下、要不要多机、峰值怎么扛。按 几张卡够用(/compute/sizing) 那套算法走一遍,把每个输入假设标在表里,评审才能复算。
按量调用和自建租卡不要只比单价,冷启动、限流、弹性扩缩的代价要折进同一张表。另外一定要写出成本随规模变化的拐点:调用量涨到什么量级,结论可能从租卡反转到按量,或者反过来。这个拐点比当前报价更有决策价值。
什么情况下这套成本口径不适用:业务量波动极大、或者未来半年内用量根本无法估,这时应该改用「按峰值预留 + 弹性补充」的写法,而不是硬套一套平均成本。
风险与回退:把许可证和迁移成本提前写进文档
风险和成本不一样,它不是估算题,是确认题。许可证、合规、数据出境这些事只有「已确认」和「没确认」两种状态,别写成「风险可控」这种模糊表述。逐条列状态,待确认项写明谁负责核实、什么时候给结论。
- 许可证单独一节:模型权重许可、商用边界、数据出境、是否需要备案,逐条标「已确认 / 待确认 / 不适用」
- 待确认项必须写责任人和核实方式,不能只写「后续跟进」
- 集成风险写清依赖了什么:接口协议是否兼容、有没有绑定特定平台、向量库和重排模型换掉要改多少代码
- 回退方案具体到动作:什么信号触发、退到哪个备选、切换影响多少用户、数据要不要重跑
- 接口或权重兼容性拿不准时,先做一次小规模验证再把结论写进报告
回退方案的写法有个实用技巧:把它写成「触发条件 → 动作 → 验证」三列。触发条件要可观测,比如错误率、延迟、成本偏离;动作要可执行,比如切回备选接口或降级到小模型;验证要能说明切换成功没有。模型换代后的验证与回退清单可以参照 部署测算(/models/deploy) 的测算口径。
什么情况下不需要写得这么重:如果只是内部试验、不涉及对外服务、随时可以下线,回退方案可以简化成一句「保留现有方案不动」。但只要涉及线上流量或对外承诺,这张表就必须完整。
选型报告的价值不在结论多漂亮,而在别人能照着你的假设复算出同样的结论。下一步把报告骨架搭好后,先拿你的候选方案去站内对比页跑一遍,确认口径和数字都能对上,再交给评审。→
常见问题
模板里的跑分和价格要不要写死具体数字?
不要。写死的数字过两个月就过期,评审反而会拿旧数质疑你。正确做法是写清取数口径和来源页面,比如调用费去官方价格页取、算力去租卡价格指数取,并注明取数日期,让别人能自己复现。
几个人小团队也要写这么正式的报告吗?
可以压到一页:结论、评测口径、成本假设、回退方案四段各写几句话,样本量少就直接说明样本量少、结论仅作当前参考。省掉的应该是篇幅,不是口径和回退这两件事,否则换人接手时等于从零再选一次。
报告结论被质疑「为什么不选更火的模型」怎么答?
把问题拉回需求边界:把你们真实任务样本的结果和成本假设摆出来,说明热门模型在你这批样本上并没有优势,或者成本、许可证、并发其中一项不满足。如果对方拿的是公开榜单,就用站内榜单解读相关内容说清榜单题目和你的任务不匹配在哪里。