你大概遇到过这种场面：老板说「都上大模型了，图片和语音也顺手做掉」，可真到动手，才发现图像识别和语音识别不是一句话能搞定的事，识别准不准、延迟扛不扛得住、按什么口径计费，全是坑。这篇不讲原理教科书，只给一套判断顺序：先分清任务类型，再看效果边界，最后算成本与延迟，让你十分钟内知道哪类活能交出去、哪类还得人工兜底。
你大概遇到过这种场面：老板说「都上大模型了，图片和语音也顺手做掉」，可真到动手，才发现图像识别和语音识别不是一句话能搞定的事。识别准不准、延迟扛不扛得住、按什么口径计费，全是坑。更麻烦的是，这两类任务的容错标准差得远，拿一套标准去套，很容易翻车。
这篇不讲原理教科书，只给一套判断顺序：先分清任务类型，再看效果边界，最后算成本与延迟。目标很朴素——让你十分钟内知道哪类活能交出去、哪类还得人工兜底。需要提醒一句，下面提到的一切具体数字（价格、延迟、准确率），都别信旧印象，到站内对应页面核对当时的数字。
先把任务拆成四类，别混着谈
图像和语音各自都不是一个任务，而是一堆任务的集合。把它们混在一起谈效果和成本，结论一定是错的。常见的拆分方式是这样：图像侧看输出是标签、框、文字还是自然语言描述；语音侧看输出是文本、音频还是说话人信息。拆完再谈能不能用。
| 任务 | 典型输出 | 容错要求 | 常见坑 |
|---|---|---|---|
| 分类打标 | 一个或多个标签 | 宽松，可人工抽检 | 长尾类别漏标 |
| 目标检测 | 坐标框+类别 | 中等，位置偏差要可控 | 小目标和遮挡 |
| 文字识别 | 纯文本/结构化字段 | 偏严，票据金额不能错 | 模糊、手写、串行 |
| 图像问答 | 自然语言回答 | 宽松但要能溯源 | 看图说错话、编造 |
| 语音转写 | 文本稿 | 中等，可后处理校对 | 口音、抢话、同音词 |
| 语音合成 | 音频 | 中等，听感因人而异 | 语气和停顿不自然 |
- 图像侧大致分：分类打标、目标检测与定位、文字识别、图像问答与图表解析，四类的容错要求完全不同
- 语音侧大致分：语音转文字、语音合成、说话人分离与情绪识别，实时对话和离线转写是两条路
- 判断标准：输出能不能被人一眼复核。能复核的（打标、转写）可以放宽，直接影响决策的（票据金额、医疗描述）必须留人工关卡
- 不适用情形：涉及身份核验、司法取证、医疗诊断的场合，不要把大模型输出当结论用，这类先看 /ai-dict/category/safety 的术语边界
效果怎么验：别只看榜单名次
榜单只能做粗筛，而且不同榜单的评测集、口径、更新频率都不一样，直接比名次意义有限。真正决定能不能用的，是你的数据上跑出来什么样。最省钱的办法就是抽小样本自己试跑，不用等完整评测。
- 凑一小批样本20-50 条，必须覆盖典型场景和边缘情况，比如模糊图、方言录音、多人对话。只挑清晰样本等于白测。
- 定义可量化的失败别用「感觉还行」判断。图像看小字读错没、表格串行没、专业术语认错没；语音看人名地名、数字、同音词有没有出错。逐条打勾。
- 按场景给容忍线先定好这个场景能接受几条错。转写稿错几个字无所谓，票据金额错一个数字就跑不通。
- 对照榜单口径榜单怎么读、哪些指标容易被带偏，参考 /benchmarks 与 /benchmarks/registry 的口径说明，最终仍以自己数据为准。
- 图像看三点：小字与模糊图能不能读、版面复杂的表格会不会串行、专业领域术语会不会认错
- 语音看三点：口音与方言、多人抢话、专业名词与同音词，这三项掉分最狠
- 一份样本尽量覆盖多种条件，否则你会得到一个漂亮但没用的结论
- 测试结果记下来存档，模型或版本更新后重跑同一批，才能看出是不是退步
成本与延迟：按什么口径算才算清楚
图像和语音的计费口径完全不同，横向比之前先统一单位，否则算出来的账是错的。图像理解常按图片折算成 token，分辨率越高越贵；语音按分钟或按字符，两条口径差很多。具体换算去 /official-api 看当时各家的口径，别拿旧印象套。
| 比较维度 | 图像侧关注点 | 语音侧关注点 |
|---|---|---|
| 计费单位 | 按图片或折算 token | 按分钟或按字符 |
| 成本放大因素 | 分辨率、图片数量、多图输入 | 音频时长、并发路数 |
| 延迟类型 | 单张处理耗时、批量排队 | 首字延迟、整体转写耗时 |
| 限流影响 | 高并发下排队明显 | 实时场景对限流极敏感 |
- 延迟分首字延迟和整体耗时：实时字幕、语音客服看首字，离线转写看总时长，用 /tools/speed-test 先量自己的基线
- 并发上来后单价会变，限流和排队要提前问清，别只看标价
- 语音和图像都建议先算单位成本，再乘上预估调用量，得出一个区间，而不是一个数
- 自建和调 API 的成本对比要去 /models/deploy 看资源口径，不能拍脑袋
先量基线，再谈省钱；没有基线的成本讨论都是猜。
三条落地路线怎么挑
路线没有绝对好坏，取决于数据敏感度、调用量、团队人手。多数团队最终不是纯 API 也不是纯自建，而是混着来：敏感数据走本地，公开数据走 API。关键动作是先定数据分级规则，再决定每类数据走哪条路。
- 调 API
- 最快见效，适合验证期和量不大的场景，代价是数据出内网、受价格与限流影响
- 自建部署
- 数据不出门、量大后更可控，但要算显存、运维和调优人力，先在 /models/deploy 核一遍
- 混合路线
- 按数据敏感度分流，敏感走本地、公开走 API，多数团队的实际落点
- 纯现成工具
- 功能固定、开箱即用，适合非核心业务，灵活性低但省事，可到 /tools 里找对口的
- 判断顺序：数据能不能出门 → 日均调用量够不够摊平自建成本 → 团队有没有人维护 → 最后才比单价
- 不适用情形：团队没有运维人手、日均请求量很小的时候，自建基本是亏的，别硬上
- 中转或聚合服务能省接入成本，但可用性和数据政策要自己核实，相关判断可参考 /sites 的信息
- 不管走哪条路，都先留一个降级出口，避免单一依赖
几个最容易翻车的地方
前面几节讲的是怎么选，这一节讲怎么别踩雷。下面几条是实际动手时最常出问题的位置，逐条对照自己的项目过一遍。
- 把识别准确率当成一个固定数字：同一模型换数据、换分辨率、换口音，结果能差一大截，必须按自己的场景报数
- 忽略后处理：转写文本要断句与标点、识别的表格要校对结构，这部分工作量常被低估
- 没有兜底路径：接口超时、限流、模型下线都要有降级方案，否则线上直接挂
- 合规没提前想：人脸、声纹、录音属于敏感数据，先看 /safety 与 /ai-dict/category/safety 再动工
- 只看效果不看成本曲线：量涨上去后计费口径可能变，价格追踪可参考 /price-watch
常见问题
图像识别和语音识别现在能不能完全替代人工？
大部分标准化场景可以做到人工只做抽检，比如商品打标、会议转写初稿。但凡输出会直接影响钱、健康、法律判断的，都要保留人工复核环节。判断方法很简单：错了谁来担责，如果是人担责，人就得在流程里。
只想先试一下，最小成本怎么起步？
拿几十条自己最典型的样本，分别试一两家 API，重点看错在哪、错得能不能接受，而不是看整体准确率。价格和计费口径到 /official-api 与 /voice 查当时的数字，试完再决定要不要自建，别一上来就买卡。
实时语音场景为什么总觉得卡？
多数时候不是模型慢，而是链路长：录音、上传、识别、返回、再合成，每一段都在累加。先用 /tools/speed-test 量出自己的基线，再定位是哪一段拖后腿。如果首字延迟本身就是硬指标，选型时要把这一项单独拉出来比，别只比总耗时。
