大模型、小模型常见问题:搭环境之前先弄清这四笔账

模型与算力

把大模型小模型分工、选型、门槛和踩坑点摊开讲,给一套能照着走的判断顺序,避免第一次上手就装错框架。

搜「大模型、小模型」的人,多半是刚决定动手,卡在第一个岔口:到底该拿大模型还是小模型干活,本地跑要什么条件,先装哪个工具。这篇不给结论清单,只给判断顺序和能落地的核查动作,照着走一遍,心里就有数了。

先分清大小模型各自该干什么活

这块最容易犯的错,是拿「哪个更强」当问题问。大小模型不是同一条赛道上的快慢车,是两种活法。大模型的本事在没见过的东西上:题目换了问法、文档长到几十页、要连着推好几步,它还能接住。代价也直接,慢、贵、占显存,一次调用等半天,批量跑起来账单和显卡都疼。

小模型反过来。它强在重复、格式固定、一天调几万次也不心疼的那种活。你给它一个稳定的输入形状,它答得又快又稳,成本压得住。但它的毛病是遇到新题型容易硬套——你换个说法,它还按老模板回,错得一本正经。所以别指望它替你探路,它适合守成。

大模型适合的活
题型没见过的、要读长文的、需要多步推理才能出结论的;一次两次调用、对延迟不敏感的场景
小模型适合的活
重复度高、输出格式固定、调用量大的活;你事先能把规则写死的部分
大模型的隐性代价
慢和贵之外还吃显存,本地跑的话要掂量硬件够不够
小模型的隐性代价
遇到新问法爱硬套,看着像答对了,其实是按老模板凑的

怎么分?别拍脑袋。拿同一批真实输入摊开看,一条条问自己:这条的规则我能不能提前写死?能写死的占比越高,越该让小模型顶上。反过来,一半以上的输入你都得临场判断,那就别省这个钱,大的先上。

输入特征倾向用哪个理由
格式固定、字段明确,比如从固定表单里抽信息小模型规则能写死,量大时速度和成本都占优
同一个问题反复问,只是措辞略有不同小模型重复度高,先把常见问法覆盖住
文档长、要跨段找线索再下结论大模型长文理解和多步推理是它擅长的
新题型、边界还没摸清大模型规则都没定,小模型没东西可套
一半固定一半需要临场判断拆开处理固定的走小的,剩下的丢给大的,别一锅端

有一种情况不适合按这个比例算:任务边界还在摸索、口径三天两头要改。这时候小模型调来调去,改一版规则又冒一批新反例,不如先拿大的把流程跑通,等输入形状稳定了,再回头把能写死的部分切给小模型。顺序反了,你会把时间全花在给一个还没定型的问题打补丁上。

下一步拿不准某家模型在自己的场景里到底吃不吃得消,别只看参数,去站内的模型资料库对着看能力和限制,再决定用哪个。

第一次上手,顺序错了会很麻烦

第一次搭环境最容易犯的错,是把它当成装软件:先找教程、先配驱动、先下模型,然后发现连一句像样的回答都拿不出来。顺序反过来更省事。先用云上接口跑通一次真实调用,把提示词和输出格式捏到能用,再决定本地那摊事要不要碰。

  1. 写一句真实任务别用「你好」测试。从你手上真实要做的事里挑一件,比如把一段会议记录压成三条待办,写清给谁看、要多长、不能出现什么。这句任务就是后面所有对比的基准,别中途换。
  2. 跑通一次调用用云上接口把这条任务跑通,拿到一份能用的输出。这一步不花硬件钱,也不用碰驱动和显存,先确认流程本身是通的。
  3. 量一次延迟和效果记下从发出到拿到完整结果大概多久、输出格式稳不稳、要不要人工返工。用同一句任务多跑几次,看波动大不大。
  4. 再决定往不往本地搬如果延迟能接受、效果够用,本地部署就不是必须的。真需要本地的理由通常是数据不出门、离线可用、调用量太大,不是「大家都说本地好」。

确定要本地跑之后,才轮到选推理框架。挑的时候看两件事:并发有多大,以及是不是要常驻成服务被人反复调。一次性跑批和挂个接口给团队用,是两种不同的东西。别一上来装两套框架对比,配置文件和依赖互相打架,排查半天发现是端口占了。

模型文件也别急着下。先定量化档位,再下对应那个文件。同一个模型不同档位体积差不少,下完最大的那个才发现显存不够,重下一遍非常费时间。显存和内存的余量,去站内模型资料库对着看当时的参数,别凭印象估。

先做什么为什么这个顺序跳过的代价
云上跑通一次调用不花钱、不吃硬件,先验证任务和提示词直接装环境,卡在驱动上,任务本身还没验证
定提示词与输出格式格式不稳,本地跑得再快也白搭换框架后输出变了,重新调一遍
选推理框架按并发和是否常驻服务挑装两套互抢依赖,排查成本翻倍
挑量化档位再下模型体积和显存要对得上下完发现跑不动,重下耗时

硬件这条线,先算显存再看别的

聊到硬件,很多人第一反应是「我这卡够不够大」。这个问法本身就不太对。先把显存算清楚,再看别的,顺序反了容易白花钱。显存够不够,取决于两件事:模型参数量,以及你打算用哪个量化档位。同一份权重,量化压得狠一点,占用能砍掉一大截;压得松一点,画质和稳定性更好,但卡也吃得更凶。

别凭感觉估。常见误判是「我这张卡以前跑过差不多的模型,这回应该也行」。参数量翻一倍,显存不是翻一倍那么线性,但压力确实上台阶。站内有个显存估算页,把参数量和量化档位填进去,能直接套出个参考值,比拍脑袋靠谱。到 /tools/vram-estimator 按当时的数字核一下,注意它给的是权重本身的量级,上下文长度和并发还得另外算。

要先确认的为什么怎么查
推理后端有没有认到卡没认到就会退回 CPU,慢到怀疑人生启动日志里看设备名和显存,跑一条命令对一下
量化档位和模型文件是否匹配档位填错会直接报错或加载出乱码看加载时的日志,确认权重精度和配置一致
上下文长度设了多长长上下文会额外吃显存,短文本场景没必要开满按实际输入长度设,别默认拉满
内存和磁盘余量模型文件、缓存、并发请求会一起挤留出比模型文件大一圈的空间再动手

同一条命令,在两张不同的卡上表现能差出很远。原因往往不是卡不行,是推理后端没认到卡,或者驱动、运行时版本对不上。装完先别急着灌模型,跑个最小加载,看日志里认到的设备是不是你预期那张。认不到就回去查运行时和驱动,别在模型参数上瞎调。这步花五分钟,能省掉后面半天的排查。

内存和磁盘也别忽略。模型文件本身占磁盘,加载时又要进内存,缓存和并发请求再叠上来,最容易在这时候崩。一家 5 人小团队拿一台机器既跑推理又当缓存服务器,磁盘被日志和缓存填满,模型加载到一半失败,这种事儿不稀奇。留余量的意思不是越大越好,是别让几样东西同时挤在临界点上。

钱花在哪,取决于调用有多密

先说结论:调用量小、任务又不固定,按量付费最省心。你不需要判断哪张卡更划算,也不用操心驱动、CUDA、显存够不够。注册、拿 key、发请求,完事。省下来的时间够你多改两版提示词。这个判断的前提是:你的调用是零散的、波峰波谷没规律。如果每天固定几万次、跑的是同一批任务,那就另算。

反过来说,调用量稳定且大,才轮到自建或租卡上场。注意「稳定」和「大」是两个条件,缺一个都不成立。量大但忽高忽低,自建的机器在低谷期就是白烧电;量稳但总量不大,摊到每台机器上的利用率撑不起运维成本。实际用下来,最容易翻车的是第二种:看着单价便宜就搬本地,机器一天真正干活的时间没多少,其余全在空转。

你的情况先做这个什么情况下不适用
调用零散、任务常换按量付费,别碰环境长期每天都有固定大批量任务
量大但波峰波谷明显按量付费为主,峰值溢出再考虑租卡波谷也稳定维持较高占用
量大且全天平稳租卡或自建,算总账再决定团队没人愿意接手运维
只想验证效果按量付费跑通再说已有现成算力和运维人手

算总账这一步,很多人只比了单价,结论就反了。电价要算,机器闲置的时长要算,你或同事花在装环境、修依赖、盯告警上的时间更要算。一家 5 人小团队,如果每周有人花半天处理机器问题,这笔人力成本往往比省下的调用费还高。把这些折进去,原本「便宜」的方案经常就不便宜了。

  • 电费与散热:机器只要开着就在花钱,不管有没有请求进来
  • 闲置时长:按峰值配置买的机器,低谷期利用率低得可怜
  • 运维时间:装包、升驱动、处理显存不足,都是实打实的小时数
  • 折旧与备用:硬件会老,坏了得有替换方案,这也是一笔
  • 机会成本:折腾环境的那些天,产品功能一行没推进

还有一件事得反复提醒:价格和规格一直在变,别把数字记脑子里。你记得的那个单价,可能早就调过了,或者计费口径变了。要用的时候,去站内的价格页核对当时的数字,模型规格也去模型库看现成的。判断逻辑可以记,具体数值每次现查。

怎么确认自己选对了

选型这事儿,别用「哪个更聪明」来问自己,要问「哪个够用」。最省事的验证方式是拿同一批真实输入跑两遍:同一批问题、同一批附件、同一套提示词,一遍挂大模型,一遍挂小模型。比的不是谁的分数高,是输出能不能直接拿去用——格式对不对、信息有没有漏、语气像不像你要的样子。

  • 输入从最近真实工单或聊天记录里挑,别自己编好看的样例
  • 两遍跑的时候提示词一字不改,改了就失去可比性
  • 把两边的输出放在一起看,标出「能直接用」「改两句能用」「废了」三档
  • 别只看平均感受,挑出最烂的那几条单独记下来

跑完别急着看谁赢,先看失败样本长什么样。失败分三种,解法完全不同。格式错的,多半是提示词里没把输出结构说死,加个示例或者把字段列清楚就能救,跟模型大小关系不大。编内容的,是模型在自己的知识边界外硬答,这种靠提示词压不住,得改成「查不到就说查不到」,或者把资料塞进上下文。答非所问的,通常是问题里有歧义,或者指令太长被稀释了,拆成两步问往往就好了。

失败表现大概率原因先动哪里
字段缺了、JSON 破了输出格式没约束死提示词加结构示例
答案看着像但事实不对模型在硬编加拒答规则或补资料
答得挺顺但没回答你的问题问题有歧义、指令太长拆问题、缩指令
长文前后矛盾上下文太长被冲淡分段处理或减少喂料

一次对比说明不了什么。模型那边有抽风的时候,你这边也有状态起伏,同一条输入今天答得好明天答得差很正常。稳妥的做法是让它跑一周,每天固定几条输入过一遍,一周后回头看失败率有没有稳定在能接受的范围。要是只有第一天好,后面天天翻车,那多半不是模型的问题,是你选的那批输入太顺了。

真选错了也别一股脑全推翻。整套换掉成本高,还容易把已经跑通的部分一起弄坏。先找最费时的那一步——比如长文档摘要、批量改写、格式转换——只把这一个环节换成另一个模型,其他照旧。换完再跑几天,看这一步的返工量降没降。多数情况下,业务里真正吃力的就那么一两个环节,换掉它,整体感受就回来了。

下一步想核对各家模型的能力边界和适用场景,去站内的模型资料库按任务类型翻一遍,比在这里猜要快。

常见问题

大模型和小模型能一起用吗?

能,而且常见。做法是把重复度高的活交给小模型先处理,判不准的、需要解释和推理的再转给大模型。前提是分流规则要写清楚,不然会变成两边都跑一遍,钱没省反而多花。

本地跑不动大模型,是不是就只能用小模型?

不一定。先看你要解决的是哪一类问题,如果任务本身不需要长文理解和复杂推理,小模型加好的提示词完全够用。真要上大模型,也可以先用云上接口把流程跑通,等调用量稳定了再算自建这笔账。

第一次装环境,最该先确认什么?

先确认推理后端有没有识别到你的显卡,再确认模型文件和框架版本对得上。多数新手卡住不是模型不行,是这两项没对齐,装了三遍还在原地。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。