Qwen3-4B-Instruct-2507-NVFP4

该模型是 Qwen3-4B-Instruct-2507 的量化分发版本，由 llmat 打包发布，2025 年 8 月 27 日公开权重，许可证为 Apache-2.0。命名中的 2507 指向基座指令模型的更新批次，NVFP4 则表明权重以面向 FP4 算力的低精度格式存储。它要解决的问题很具体：4B 量级的指令模型能力够用，但按原始精度部署在显存、带宽或功耗受限的设备上仍不轻松，量化后能进一步降低推理门槛。相比重新训练的小模型，它保留了与原版一致的接口形态与指令跟随用途，适合嵌入已有的文本处理链路。需要说明的是，量化配方、校准数据与精度损失曲线均未公开，公开资料较少，选型应以自有数据实测为准。

选型建议需要低成本、可商用、能在 FP4 环境本地跑通文本任务时选它；追求高难度推理、多模态能力或开箱即用的托管 API 则不适合。

• 在支持 FP4 的本地服务器上部署轻量客服问答与话术改写服务
• 为文档流水线批量做实体抽取、字段归类与文本清洗
• 在边缘设备或开发机上搭建离线文本助手原型，验证后再扩量
• 为内部知识库的检索结果生成短答案与要点归纳
• 用于中文、英文等语种短文本的分类打标与内容初筛

沿用 Qwen3 系列的 4B 稠密指令模型结构，改动集中在权重精度而非网络设计，因此行为特征主要继承自基座指令模型。

• 结构保持 Qwen3 4B 稠密指令模型的层数与注意力布局，仅把权重转换为 NVFP4 低精度格式，属于同基座的量化分支，而非重新训练的模型。
• 能力仅支持文本输入与文本输出，围绕指令跟随、问答改写与信息抽取展开，不包含视觉、语音或多模态处理能力。
• 披露量化校准数据、具体量化配方以及精度损失对比均未给出，公开资料较少，落地前需要用自身业务样本做一致性验证。

开源权重

是

许可证

apache-2.0

参数规模

4B

在 4B 量级内属于务实取向的文本模型，低精度权重的收益主要体现在部署成本上，新任务中的表现存在不确定性，需要实测确认。

• 强项4B 规模叠加低精度权重，显存与带宽占用低于同系列更大参数的版本，适合在单卡或边缘设备上常驻，承担高频短请求。
• 短板NVFP4 依赖推理框架与硬件具备 FP4 支持，缺少相应内核时需回退或转换格式；复杂多步推理与长链路工具调用并非 4B 量级的强项。
• 适合对延迟和成本敏感的文本任务，例如客服问答、分类打标与结构化抽取；不建议直接承担高难度推理或长文档深度分析。

官方价格未公开，权重以 Apache-2.0 开源发布，实际成本由自托管算力与环境适配决定，而非按调用量计费。

• 定位没有对外 API 报价，也没有能力档位标注，投入主要落在推理硬件与运维人力上，适合已有基础设施的团队自建。
• 横向对比与同系列更大参数版本相比，4B 量化权重对显存与算力的要求更低，单机可承载的并发更高，但复杂任务的能力上限也更低。
• 平台差价收录平台数为 0，暂时没有第三方托管报价可供横向比较，只能按自建推理成本估算。
• 省钱Apache-2.0 允许商用、修改与再分发，长期高频调用时自建通常比按量付费更划算，前提是已有支持 FP4 的推理环境。

• 口径第三方跑分缺失，能力维度也未标注，效果判断应来自自有数据验证，不宜直接套用基座模型的宣传结论。
• 边界量化会带来与原精度版本的输出差异；仅支持纯文本，参数规模固定为 4B，遇到强推理或长文档任务需换用更大模型。

本页资料由多个公开来源交叉整理：按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并， 冲突时取优先级高的来源。价格单位是美元 / 百万 tokens，为各平台对 API 调用的报价，不含自部署成本。 资料由公开来源整理，不代表 AiTest 已对该模型或其收录中转站做过真实性、稳定性或安全检测。

本页的模型介绍、架构、性能与性价比解读为 AI 综合公开信息整理，部分未经本站逐项核实；规格、价格与跑分以本页数据字段为准。