Mistral Small 3

Mistral Small 3 是 Mistral AI 团队推出的开源大语言模型，采用 Apache 2.0 许可证，参数规模为 24B。它同时提供预训练和指令微调两个检查点，定位是覆盖生成式 AI 任务中约 80% 的常见需求——即需要稳健的语言理解和指令跟随能力、同时对延迟极度敏感的场景。

该模型的核心设计目标是让性能在适合本地部署的尺寸上达到饱和。与同类模型相比，它的层数更少，单次前向传播耗时大幅缩短。在 MMLU 基准上准确率超过 81%，推理延迟为 150 tokens/s，官方称其为同尺寸级别中效率最高的模型。它在指令跟随、代码、数学和通用知识基准上与三倍于自身参数的开源模型以及 GPT-4o-mini 表现相当。

不同用户的使用方式如下：普通用户可通过量化版本在个人设备上本地运行，用于快速对话、函数调用等；开发者可利用预训练检查点作为基础模型进行微调，构建法律、医疗、技术支持等领域的专家模型；团队可在自动化或智能体工作流中集成该模型处理低延迟函数执行任务。

当你需要一款能在本地设备上流畅运行、对延迟极度敏感的开源模型时，Mistral Small 3 值得优先考虑。它的 24B 参数在 MMLU 上做到超过 81% 准确率，150 tokens/s 的推理速度比 Llama 3.3 70B 快 3 倍以上，量化后单张 RTX 4090 或 32GB MacBook 就能跑。当你需要强推理能力或复杂多步思考时，它可能不够——该模型未使用强化学习或合成数据训练，推理深度不如 DeepSeek R1 这类模型。适合做快速对话助手、函数调用和领域微调的基础模型。

工具	编辑评分	价格	核心功能	平台
Mistral Small 3本工具	4.3	开源免费，Apache 2.0 许可证	24B 参数规模；低延迟推理；本地隐私部署；指令跟随能力	Web / API
L Llama 3.3 70B本工具	—	未标价	指令跟随性能与 Mistral Small 3 相当，但参数量约 3 倍，推理速度慢 3 倍以上	—
Q Qwen 32B本工具	—	未标价	参数规模介于 Mistral Small 3 和 Llama 3.3 70B 之间，官方称 Mistral Small 3 可与之竞争	—
G GPT-4o-mini本工具	—	未标价	闭源模型，Mistral Small 3 被定位为其开源替代品，在多个基准上表现相当	—
D DeepSeek R1本工具	—	未标价	使用强化学习训练，推理能力更强，官方称其为互补的开源技术，Mistral Small 3 可作为构建推理能力的基座	—

如果优先考虑低延迟和本地部署，选 Mistral Small 3；如果需要最大推理深度，选 DeepSeek R1 或 Llama 3.3 70B；如果追求闭源模型的稳定服务，GPT-4o-mini 仍是选项，但 Mistral Small 3 提供了开源替代。

1. 2025-01-30
   Mistral Small 3 发布

   Mistral AI 发布 24B 参数开源模型 Mistral Small 3，Apache 2.0 许可证，提供预训练和指令微调检查点。