Strata引擎让RTX 5070跑通125B模型：每秒83字

两年前说这话，基本没人信。本地部署有条不成文的规矩：显存多大，模型就只能多大。

12GB 跑 12B，16GB 跑 16B，想上 125B，设备起码得有 80GB 以上显存。现在它真跑起来了：每秒输出 83 个汉字，还挺聪明。

撑起这件事的开源项目叫 Strata。它靠什么做到的？手里的 RTX 50 系显卡能不能跑？下面用实测说话。

01 Strata 是什么？

Strata 是个开源引擎，专治「模型比显卡大」。这次测的模型是「Qwen3.8-Flash-Next-GSQ-RCO-IQ3_S」，125B 参数、3.5bit 量化，文件 83.6GB；一张 RTX 5070 的显存只有 12GB。好比 83 本书，要摊在一张只放得下 12 本书的桌子上。

以前的软件碰到这种局面只有两条路：要么直接报错（爆显存），要么把书全堆到身后书架上，桌面空着，再一本本拿上来翻。速度只有每秒四五个字，一句话得等半分钟。

Strata 走了第三条路：桌上只留马上要用的，其余搁书架和储藏室，用完就换。于是分三层放——显存放最常翻的几本；内存里搁模型 46.8GB 大小的专家，全在身后书架上；SSD 收着 28.8GB 辅助文件，用到才取。所以快不快，主要看你要用的那本书是不是正好在显存里、放不放得下。125B 的大语言模型能在消费级显卡上跑，原因就在这。

02 实测：影驰50系显卡跑125B大模型

测试用同一台机器、同一个模型、同一组参数，全程只换显卡：影驰 RTX 5070 圣刃 OC（12GB）和影驰 RTX 5080 HOF Extreme（16GB）。

03 结果一：5070可跑125B_Q3版模型

三轮日常提问加生成代码的测试里，单流速度实测为 65.1（5070圣刃）和 87.5（5080 HOF）tok/s。模型按 token 计数，中文一个 token 约合 1.28 个字，折成汉字就是每秒 83 个和 112 个，问答流程很顺。

拿日常场景举例：Agent 给一段 400 字的回答，5070 等 4.8 秒，5080 等 3.6 秒，实际差 1.2 秒。

04 结果二：速度上，5080比5070快 34%

这次 Strata 实测中，单流速度主要由一件事决定：显存装得下多少专家。对照结果一的数据，5080 跑 87.5 tok/s，5070 跑 65.1 tok/s，前者快 34%。差别就是桌面上能摆多少本专业书，也就是专家缓存：5080 的 16GB 能常驻 3694 个，5070 的 12GB 只有 1672 个。多出来的 4GB 显存实打实装进了更多专家缓存，这也是它 token 输出更快的原因之一。

05 结果三：125B模型装进50系显卡也能干活

快不等于对。模型压得越狠，越容易犯三种毛病：说话重复、算数出错、看长文漏行。从 16bit 压到 3.5bit，好比报价时把「38.6 元」记成「39 元」——省下四倍多空间，精度却缺了一块。

测试时我们丢给模型一份 2 万字、251 条的硬盘运维台账，问三个必须真读过材料才答得出的问题。

结果两张卡三道全对，而且每份回答都能精准定位原材料。压得狠会不会变傻，这下不用担心了。

06 结果四：聊久不掉速，但第一句回复要等

大模型有个通病：聊得越长，答得越慢。这次我们分别把三份不同长度（6.9k、11.4k、21.8k 个 token）的文字发过去提问，看速度会不会随上下文变长而下降。

实测下来速度并没有往下掉。最长那一档（最右侧深红色）里，5080 仍然跑到 90.9 tok/s，反倒比短对话的 87.5 略高一点；5070 为 65.0 tok/s，与短对话（最左侧淡红色）的 65.1 基本持平。

长文场景下，两张卡真正的差距集中在开头那一步（Prefill）：模型得先把整份材料读一遍，才能吐出第一个字，这一环 5080 明显占优。同样一份材料，5080 读完用 4.1 秒，5070 则要 8.1 秒。材料读完后继续追问，出字速度就回到原来的水平。经常要分析长文档的人，用 16GB 显存的 5080 HOF 显卡部署 Strata 会更省心；只是偶尔问几句、写写代码，12GB 的 5070 圣刃也完全够用。

07 Strata跑125B模型应该用哪张50系显卡？

按这次测试的相近配置来看，显存余量更大、能常驻更多专家的影驰 RTX 5080 HOF 系列，更适合用来部署 Strata 跑 125B 大模型；日常问答、优化代码、处理文档这类用途，影驰 RTX 5070 系列跑起来同样流畅。