ollama离线大模型排名

机器不联网、镜像只能靠 U 盘拷进去，这时候 Ollama 里能装哪些模型、哪个该排前面，跟联网时完全是两套判断。这篇不讲空泛的榜单，只给一套自己动手排名的流程：先量硬件上限，再按任务分档，最后用你自己的题跑一轮。照着做，断网环境也能得到一份只属于你的模型排序。

机器不联网、镜像只能靠 U 盘拷进去，这时候 Ollama 里能装哪些模型、哪个该排前面，跟联网时完全是两套判断。联网环境你能随手换、随手拉，离线环境换一次模型的成本是拷盘加重装，所以排名这事得自己算，不能抄别人的。

这篇不讲空泛的榜单，只给一套自己动手排名的流程：先量硬件上限，再按任务分档，最后用你自己的题跑一轮。照着做，断网环境也能得到一份只属于你这台机器的模型排序。

第一步：先量出你的硬件天花板，别急着看排名

离线环境没有云端兜底，模型能不能装进去由显存和内存决定。先记下三个数：显卡显存、系统内存、磁盘余量。这三个数决定了你的候选池有多大，而不是反过来先挑模型再想办法塞进去。

按量化档位倒推可跑参数量是更稳的顺序。同一份权重压得越狠，占的资源越少，但复杂任务的稳定性会掉。你可以把规格数据到 /models/deploy 和 /compute/gpus 对照当时的数字，那里会给出不同量化档位大概吃多少资源。

候选压到 3-5 个就够，多了磁盘和自检时间都吃不消。断网机器上，每多一个模型就多一份要维护的版本和路径，出错时排查成本翻倍。

第二步：按你的任务分档，而不是按名气排序

离线场景大多是固定几件事：写代码、翻译、读长文档、做本地知识库检索。先把你要用的任务列出来，再排优先级，而不是按模型名气排。一个在通用问答上很强的模型，到了你要的长文结构化输出任务上可能并不合适。

同一档位里，小模型跑得快但复杂推理容易翻车，大模型质量好但离线机器上出字慢。取舍标准不是谁更强，而是「任务能不能一次答对」。一次答不对要反复追问，离线场景里追问的成本比等它慢慢出字更高。

• 写代码：看补全是否可直接用，解释是否说清原因
• 翻译：看术语是否统一，长句是否顺，会不会漏译
• 读长文档：看上下文够不够，关键信息会不会丢
• 本地知识库检索：看召回是否稳，答非所问多不多
• 固定格式输出：看能不能守格式，别每次自己加戏

速度也要量。用 /tools/speed-test 那套思路在本地跑一轮首次响应和出字速度（等首字时长、每秒出字数），把慢到没法用的直接剔除。注意：如果你的任务是一次性批处理、不要求实时交互，那慢一点可以忍，这一条就不适用。

第三步：用自己的题跑一轮，排出来的名次才算数

别人排的名次只能当参考，因为他们的题和你的题不一样。离线环境里最靠谱的做法是自己出一套小测：准备 15-20 道你真实业务的题，答案已知，覆盖你要用的每种任务，断网也能复现。

1. 建题库选 15-20 道真实业务题，标注正确答案和判定标准，每题写清「什么算对」。
2. 固定提示词同一套提示词依次喂给候选模型，别中途改格式，不然比的是提示词不是模型。
3. 记录三项每题记录答对与否、耗时、有没有胡编；胡编单独标出来，权重比答错更高。
4. 定名次答对率优先排序；答对率接近时，选参数量更小、加载更快、更省资源的那个。

出现答对率接近的情况，就选参数量更小、加载更快的那个。离线机器省下来的资源比多几分效果实在。不过如果你的任务容错率极低（比如对外的正式输出），那就反过来，稳定性优先，宁可慢一点选那个更稳的。

想让这套小测和站内的评测口径对上，可以去 /rankings 看他们当时用的题型和判定方式，注意别把站内名次直接抄成你的名次，题目不一样，名次不可迁移。

第四步：排完名之后，把离线运维的坑一起排掉

模型文件提前拷好，记住本地存放路径。换机器或重装时不用再联网拉一遍，这是离线环境最省事的习惯。路径和文件名建议统一命名，别靠记忆找。

锁定版本标签，别用会自动更新的浮动标签。断网时更新失败会直接导致启动不了，这种坑在联网环境不常见，离线环境一次就够你排查半天。

版本标签

用固定标签，避免浮动标签触发自动更新

模型路径

提前规划磁盘位置，重装后能原样恢复

对照清单

入选模型对应哪个任务，写成一页贴机器旁

回滚脚本

换模型前留一份旧配置，出问题能切回去

把最终入选模型和对应任务写成一页对照清单贴在机器旁，下次换人接手不用重新摸一遍。清单上写清模型名、任务、加载命令、常见报错和对应处理方式，比写在文档里更管用。

如果你还在纠结候选池里到底该放哪些型号，可以到 /models 的资料库按参数规模和量化的硬件要求筛一遍，把筛出来的清单再回到第一步核对资源，不要跳过硬件核对直接拷盘。