Mistral-Small-3.2-24B-Instruct-2506-NVFP4
MODEL PROFILE模型资料RedHatAI · 2025-10-23 发布 · 开源权重
无公开托管渠道
Mistral-Small-3.2-24B-Instruct-2506-NVFP4 是 RedHatAI 基于 Mistral Small 3.2 24B 指令模型发布的 NVFP4 量化权重版本，面向需要在本地或自建环境部署中等规模指令模型、并对显存占用与推理吞吐敏感的开发者与团队。
模型介绍
该模型属于 Mistral Small 系列的 3.2 版本，指令微调（Instruct）分支，参数规模 24B，仅支持文本输入与文本输出。RedHatAI 在 2025-10-23 发布的是其 NVFP4 低精度量化权重，并非新的基础模型，因此能力边界基本沿用原版 Instruct 模型，差异主要体现在数值精度、显存占用与推理硬件适配上。它要解决的是中等参数指令模型在落地时的部署成本问题：24B 量级的模型若以高精度权重运行，对显存和算力要求较高，而 NVFP4 通过 4 位浮点表示压缩权重，使同一模型更容易在单机或较少加速卡上跑起来，适合推理服务、私有化部署和对延迟敏感的中等复杂度文本任务。许可证为 apache-2.0，开源权重可直接获取，商用与二次分发的限制相对宽松，但需自行核对底层模型与量化工具链的附加条款。当前本站未收录该模型的公开跑分，官方价格也未公开，实际能力应以原版 Mistral Small 3.2 Instruct 的公开资料和自身业务评测为准，不建议直接套用其他模型的评测结论。
选型建议需要中等规模、可私有化部署的文本指令模型且硬件支持 NVFP4 时值得评估；若任务对数值精度要求高或使用非 NVIDIA 硬件，应优先考虑原精度版本或其他模型。
关键指标
适用场景
- 在自有 GPU 服务器上部署中等规模对话服务，承载客服问答与内部知识助手
- 对长文档做摘要、改写与结构化抽取，用较低显存成本换取可接受的生成质量
- 搭建离线或私有化文本处理流水线，避免数据出域并控制推理硬件投入
- 作为指令微调或量化研究的基线模型，对比 NVFP4 与原精度权重在同任务下的差异
- 在支持 NVFP4 的加速卡上做吞吐压测，评估单位成本下的并发承载能力
暂无：上下文窗口、最大输出、知识截止、模型家族、输入价、输出价、缓存读价、缓存写价、推理、工具调用、结构化输出、附件、温度调节（上游未公开，本站不估算）。 没有任何平台收录，也没有公开报价：可能是自部署权重或尚未开放调用；发布 384 天。
规格与能力
上面没列到的字段该版本沿用 Mistral Small 3.2 24B Instruct 的模型结构，改动集中在权重的数值表示上，即由 RedHatAI 转换为 NVFP4 格式。
- 结构底层为 24B 参数量的 Mistral Small 3.2 指令微调模型，输入输出均为纯文本，不含视觉或音频通路。
- 量化采用 NVFP4 四位浮点权重格式，目的是压缩显存占用并提升在支持该格式的加速卡上的推理吞吐。
- 能力指令跟随、多轮对话与文本生成能力继承原模型，量化会带来一定精度损失，需按任务实测确认是否可接受。
- 披露公开材料未给出层数、注意力结构、上下文长度等细节，本站亦未收录相关技术报告，把握不准的部分以官方模型卡为准。
- 开源权重
- 是
- 许可证
- apache-2.0
- 参数规模
- 24B
能力
资料未标注
同系列其他规格
| 型号 | 厂商 | 参数 | 上下文 | 输入价 | 输出价 |
|---|---|---|---|---|---|
| Mistral Small 3.2 24B | Kilo Gateway | — | 32.8K | $0.1/M | $0.3/M |
| mistral-small-3.2-24b-instruct-2506 | Cortecs | — | 131K | $0.1/M | $0.312/M |
性能表现
本站未收录该模型的第三方跑分，性能判断只能基于量化格式特性与原版模型的公开认知做定性说明。
- 强项24B 参数量在指令跟随与通用文本任务上通常优于小参数量模型，NVFP4 版本更易在有限显存下部署。
- 短板4 位量化可能削弱长链推理、精确抽取与格式严格遵循的稳定性，与原版高精度权重相比存在精度折损风险。
- 硬件NVFP4 需要较新的 NVIDIA 加速卡与相应推理框架支持，老旧显卡或非 NVIDIA 环境可能无法直接受益。
- 适合适合对成本与延迟敏感、任务难度中等的生产推理，不建议在未做验证的情况下直接替换高精度权重。
价格与性价比
结合各平台报价与同类对比官方价格未公开，本站也未收录任何平台的报价，成本判断只能从权重开源与量化带来的部署开销角度展开。
- 定位Apache-2.0 开源权重，无按 token 计费的官方定价，成本主要来自自建推理的硬件与运维投入。
- 横向对比同批 RedHatAI 量化模型中还有 Llama 与 Qwen 系列，但价格字段均为空，无法给出有效的价差结论。
- 平台差价本站收录平台数为 0 家，暂无托管服务报价可对比，实际支出取决于所选云厂商与加速卡型号。
- 省钱采用 NVFP4 权重可降低单实例显存需求，从而用更少的卡承载同等并发，是控制单位推理成本的主要手段。
同类模型对比
5 条| 模型 | 上下文 | 输入价 | 输出价 | 输入价差 | AA 综合 |
|---|---|---|---|---|---|
| Llama-3.1-8B-Instruct-NVFP4 | — | — | — | 基准 | — |
| Llama-3.3-70B-Instruct-NVFP4 | — | — | — | 基准 | — |
| Llama-4-Scout-17B-16E-Instruct | — | — | — | 基准 | — |
| Qwen3-32B-NVFP4 | — | — | — | 基准 | — |
| Qwen3-8B-speculator.eagle3 | — | — | — | 基准 | — |
取上下文相近（约 0.5~2 倍）的同类主流模型；同厂商、同家族优先；价格差为相对本模型的输入价
关于 Mistral-Small-3.2-24B-Instruct-2506-NVFP4 的常见问题
2 条Mistral-Small-3.2-24B-Instruct-2506-NVFP4 的 API 价格是多少？
当前资料未收录该模型的公开 API 价格：可能是未公开定价，或只提供自部署的开源权重。
Mistral-Small-3.2-24B-Instruct-2506-NVFP4 是开源模型吗？
Mistral-Small-3.2-24B-Instruct-2506-NVFP4 提供开源权重，可以自行下载部署，许可证为 apache-2.0，HuggingFace 下载量 61,023。本站展示的价格是各托管平台对 API 调用的报价，自部署不计入。
使用注意
- 口径本站未收录该模型的公开跑分与能力标注，任何性能结论都需要自行评测，不能引用外部榜单数字代替。
- 边界仅支持文本模态，不处理图像、音频；量化精度损失与硬件格式依赖是选型时必须提前验证的两项约束。
资料说明
本页资料由多个公开来源交叉整理：按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并， 冲突时取优先级高的来源。价格单位是美元 / 百万 tokens，为各平台对 API 调用的报价，不含自部署成本。 资料由公开来源整理，不代表 AiTest 已对该模型或其收录中转站做过真实性、稳定性或安全检测。
本页的模型介绍、架构、性能与性价比解读为 AI 综合公开信息整理，部分未经本站逐项核实；规格、价格与跑分以本页数据字段为准。
本页资料由多个公开来源交叉整理：按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并，冲突时取优先级高的来源；价格单位为美元 / 百万 tokens。
