国产模型评测

你想换国产模型，打开一堆评测文章和榜单，看完还是不知道哪家强——因为各家测的题不一样、口径不一样，有的还是自己给自己打分。这篇不给你结论，给你一套看评测、做自测的顺序：先分清评测类型，再核对口径，最后用自己的活验一遍。

你想换国产模型，打开一堆评测文章和榜单，看完还是不知道哪家强——因为各家测的题不一样、口径不一样，有的还是自己给自己打分。这篇不给你结论，给你一套看评测、做自测的顺序：先分清评测类型，再核对口径，最后用自己的活验一遍。

整条链路就三步：第一步搞清楚这份评测属于哪一类、能信到什么程度；第二步动手核对题目、版本、评分方式这几个关键点；第三步挑几条自己手上的真实任务亲测一遍。任何公开评测都只能当筛子用，最终结论得你自己跑出来。

国产模型评测分哪几类，各能信到什么程度

按来源分，主要就三类：厂商自测、第三方榜单、用户众测。三类各有各的用处，也各有各的水分。看一份评测之前，先花十秒确认它属于哪一类，后面的判断就有了基准线。

厂商自测

厂商自己出的评测，适合看能力上限和官方定位，但选题倾向明显，横向比较时要打折

第三方榜单

独立机构或社区维护的榜单，适合横向比多个模型，前提是它公开了题目和评分规则

用户众测

大量真实用户按自己的任务投出来的体感分，适合看稳定性和日常表现，样本偏差要留意

按题型分也很关键：选择题式知识题、代码题、长文理解、多轮对话、中文写作，这五类能力之间并不通用。一个模型在代码题上表现好，不代表它写中文文案也顺手。看评测时先确认它测的题型是不是你关心的那类，题型对不上，分数再高也跟你没关系。

看一份国产模型评测，先核对四件事

拿到一份评测，别急着看总榜排名，先按下面四件事核对一遍。四件事都过关的评测不多，能过关的基本可以放心参考；有任意一项含糊的，分数就往低了看。

版本这一项特别容易踩坑。评测文章里写的模型版本，和现在能用的版本可能不是一回事。去站内模型库对一下当前在售的版本和参数口径，别拿旧版本的结论去选新版本。

• 题目不公开的评测，直接当广告看，不用花时间细读
• 自评分的评测，分数打八折再和其他家比
• 只讲优点的评测，重点看它没提什么能力
• 版本和当前在售对不上的，去站内模型库重新确认

用你自己的活做一轮小自测

公开评测只能帮你缩小范围，真正决定用哪家，还得用自己的任务跑一遍。自测不用搞得很正式，五到十条真实任务就够了，重点是覆盖你最常用的一两类场景。

1. 挑任务从你手上真实的活里挑 5 到 10 条，覆盖最常用的一两类，别贪多。任务要能一眼判断好坏，比如改写一段文案、提取一份表格。
2. 固定变量温度、上下文长度、是否开联网这些参数，几家模型保持一致。变量不统一，比出来的差异没法归因到模型本身。
3. 人工打档每条结果按三档记：直接可用、改一改能用、完全跑偏。同时记下响应速度和是否稳定复现。
4. 回看榜单跑完再去站内榜单核对一下，如果你的体感和公开评测差得远，多半是任务类型不同，以自测为准。

打档的时候注意一个细节：跑偏率高但响应快的模型，未必比慢一点但稳定的划算。如果你的流程是半自动的，人工返工的成本往往比等待时间更贵。这一项没有统一答案，取决于你的使用方式。

国产模型换代快，评测结论多久失效

国产模型迭代节奏快，任何一次评测结论都有保质期。涉及版本号、跑分、名次这类具体数字，别记住，一律去站内页面看当时的数字。旧文章里的数字只能当历史参考。

换模型之前，先看价格与额度的当期口径。能力差不多的时候，成本和限速往往才是决定因素。价格和额度都在变，去站内价格追踪页面核对当时的数字，别用几个月前的印象做判断。

• 给自己留一份两三个候选的短名单，别每次都全量重测
• 每次换代只重测短名单里的模型，工作量可控
• 评测结论超过一两个迭代周期就当失效，重新跑
• 任务对输出格式要求极严的，换代更谨慎，先小流量验证

公开评测帮你把候选从十个缩到三个，最后那一步只能你自己跑。