Llama-3.3-70B-Instruct-NVFP4
MODEL PROFILE模型资料RedHatAI · 2025-08-05 发布 · 开源权重
无公开托管渠道
Llama-3.3-70B-Instruct-NVFP4 是 RedHatAI 于 2025 年 8 月发布的开源文本指令模型，基于 70B 参数的 Llama 3.3 指令版做 NVFP4 量化，面向需要在支持 FP4 的加速硬件上部署大模型、并接受量化精度取舍的开发者与推理服务团队。
模型介绍
该模型属于 Llama 3.3 系列，由 RedHatAI 以 NVFP4 低精度格式发布，权重开放，许可证为 llama3.3。原始 70B 指令模型面向通用文本理解、指令跟随与多语言对话；NVFP4 版本的主要意义是压缩显存占用、提升支持 FP4 的硬件上的推理效率，让 70B 级模型更容易进入单机多卡或高并发服务场景。本站未标注具体能力项，也未收录第三方跑分与平台报价，选型时应以自身任务评测和实际部署环境为准。
选型建议已有 FP4 推理硬件、追求 70B 级文本能力且能接受量化取舍时选它；需要原版精度、完整跑分背书或现成托管报价时不要选。
关键指标
适用场景
- 在支持 NVFP4 的推理环境中部署 70B 级通用对话服务，承接问答与多轮指令任务
- 用较低精度权重搭建内部知识库问答原型，先验证效果再决定是否回退原版精度
- 为长文摘要、报告改写和客服话术生成等文本任务做批量推理
- 在显存受限的单机多卡环境测试 70B 指令模型的吞吐与并发表现
- 对比量化版与原始 Llama 3.3 指令版在自有评测集上的质量差异
暂无：上下文窗口、最大输出、知识截止、模型家族、输入价、输出价、缓存读价、缓存写价、推理、工具调用、结构化输出、附件、温度调节（上游未公开，本站不估算）。 没有任何平台收录，也没有公开报价：可能是自部署权重或尚未开放调用；发布 463 天。
规格与能力
上面没列到的字段沿用 Llama 3.3 70B Instruct 的稠密解码器结构，NVFP4 版本的核心变化在权重精度与推理格式，而非模型拓扑。
- 结构保留原始 70B 稠密 Transformer 主干与指令微调行为，NVFP4 主要改变权重与计算精度，不引入 MoE 等新结构。
- 能力文本输入、文本输出，继承 Llama 3.3 指令版的通用对话与指令跟随能力，适合问答、摘要、写作等任务。
- 披露本站未标注具体上下文长度、训练数据与能力细分，相关细节需查原始模型卡与量化说明，公开资料较少的部分不宜推断。
- 开源权重
- 是
- 许可证
- llama3.3
- 参数规模
- 70B
能力
资料未标注
同系列其他规格
| 型号 | 厂商 | 参数 | 上下文 | 输入价 | 输出价 |
|---|---|---|---|---|---|
| Llama-3.3-70B-Instruct | Meta | 70B | 128K | $0.5466/M | $1.0226/M |
| Llama-3.3-70B-Instruct (IONOS) | Eden AI | — | 128K | $0.7289/M | $0.7289/M |
| Llama-3.3-70B-Instruct (Arkanecloud) | Eden AI | — | 128K | $0.7/M | $0.7/M |
| Llama 3.3 70B Instruct abliterated | NanoGPT | 70B | 32.8K | $0.7/M | $0.7/M |
| Llama 3.3 70B | NanoGPT | — | 128K | $1.75/M | $2.75/M |
| Llama 3.3 70B Euryale | NanoGPT | — | 20.5K | $0.493/M | $0.493/M |
| Llama 3.3 70B Instruct (US) | Amazon Bedrock | — | 128K | $0.72/M | $0.72/M |
| Llama 3.3 70B Instruct Turbo | AI/ML API | — | 128K | $0.7618/M | $2.3837/M |
性能表现
没有本站跑分可引用，只能从量化前后与同类 70B 指令模型的通用经验做定性判断。
- 强项70B 级指令模型在复杂指令、长文本归纳和多语言任务上通常优于小参数模型，NVFP4 有利于降低显存与带宽压力。
- 短板低精度浮点量化可能带来精度损失，极端推理、代码细节和长尾知识任务需实测；本站也没有跑分佐证。
- 适合适合对吞吐和显存更敏感、且已有 FP4 推理链路的服务端部署，不适合把量化版直接当作原版精度等价替代。
价格与性价比
结合各平台报价与同类对比官方价格未公开，本站平台数为 0，当前没有可核对的输入、输出报价。
- 定位开源权重、llama3.3 许可证，成本主要来自自建推理的硬件、电力和运维，而非按 token 计费。
- 横向对比同页列出的 Qwen3.6-35B-A3B-NVFP4 与 GLM-5.3-Flash-NVFP4 均无报价，价差无法计算，不能据此判断价格高低。
- 平台差价本站平台数为 0，未登记任何输入或输出报价，暂无平台间差价可谈，采购前应自行询价。
- 省钱若已有支持 NVFP4 的 GPU 与推理栈，量化版可减少显存占用、提高单机部署密度，从而降低单位请求成本。
同类模型对比
3 条| 模型 | 上下文 | 输入价 | 输出价 | 输入价差 | AA 综合 |
|---|---|---|---|---|---|
| Qwen3.6-35B-A3B-NVFP4 | — | — | — | 基准 | — |
| GLM-5.3-Flash-NVFP4 | — | — | — | 基准 | — |
| Mixtral-8x7B-Instruct-v0.1 | — | — | — | 基准 | — |
取上下文相近（约 0.5~2 倍）的同类主流模型；同厂商、同家族优先；价格差为相对本模型的输入价
关于 Llama-3.3-70B-Instruct-NVFP4 的常见问题
2 条Llama-3.3-70B-Instruct-NVFP4 的 API 价格是多少？
当前资料未收录该模型的公开 API 价格：可能是未公开定价，或只提供自部署的开源权重。
Llama-3.3-70B-Instruct-NVFP4 是开源模型吗？
Llama-3.3-70B-Instruct-NVFP4 提供开源权重，可以自行下载部署，许可证为 llama3.3，HuggingFace 下载量 16,635。本站展示的价格是各托管平台对 API 调用的报价，自部署不计入。
使用注意
- 口径本站能力项未标注、第三方跑分空缺，任何关于效果与速度的结论都只能作为定性参考，不能替代自测。
- 边界NVFP4 依赖支持该格式的推理框架与硬件，跨平台迁移可能受限；llama3.3 许可证也有使用约束，商用前需核对。
- 对比同页 Qwen3.6-35B-A3B-NVFP4 与 GLM-5.3-Flash-NVFP4 的上下文、价格、AA 跑分均缺，横向比较只能停留在参数与定位层面。
资料说明
本页资料由多个公开来源交叉整理：按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并， 冲突时取优先级高的来源。价格单位是美元 / 百万 tokens，为各平台对 API 调用的报价，不含自部署成本。 资料由公开来源整理，不代表 AiTest 已对该模型或其收录中转站做过真实性、稳定性或安全检测。
本页的模型介绍、架构、性能与性价比解读为 AI 综合公开信息整理，部分未经本站逐项核实；规格、价格与跑分以本页数据字段为准。
本页资料由多个公开来源交叉整理：按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并，冲突时取优先级高的来源；价格单位为美元 / 百万 tokens。
