128k 上下文窗口
支持最高 128k tokens 的上下文，可一次处理长篇文档或多轮长对话，适合需要长记忆的推理与代码场景。
价格官方未公布该模型自身的价格与免费额度
平台API / Web
归类大模型与开发平台
收录2024-07-18
复核2024-07-18
编辑评分
4.3 / 5
★★★★☆
Mistral NeMo编辑总结
Mistral NeMo 是 Mistral AI 与 NVIDIA 合作发布的 12B 模型，上下文窗口最高 128k tokens，在同等规模中推理、世界知识与编码准确率处于领先水平。它采用标准架构，可直接替换使用 Mistral 7B 的系统。预训练基座与指令微调检查点均以 Apache 2.0 许可发布，方便研究者与企业采用。模型经过量化感知训练，可无损进行 FP8 推理。主要短板是版权与商用授权范围未说明，定价与免费额度未公布。
Mistral NeMo是什么？
Mistral NeMo 由 Mistral AI 与 NVIDIA 合作开发，是一个 12B 参数的大语言模型，定位面向全球多语言应用。它提供最高 128k tokens 的上下文窗口，在自身规模级别中推理、世界知识与编码准确率表现突出。
模型基于标准架构，可直接替换现有使用 Mistral 7B 的系统。预训练基座与指令微调检查点均以 Apache 2.0 许可发布。它采用量化感知训练，支持 FP8 推理而无需损失性能。新分词器 Tekken 基于 Tiktoken，训练覆盖超过 100 种语言。
普通用户可通过 la Plateforme 以 open-mistral-nemo-2407 名称调用；开发者可用 mistral-inference 试用、用 mistral-finetune 微调；研究者与企业可下载权重用于自身系统。模型还封装为 NVIDIA NIM 推理微服务，可从 ai.nvidia.com 获取。
Mistral NeMo核心功能
多语言覆盖
针对英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语表现尤强，面向全球化应用设计。
Tekken 分词器
基于 Tiktoken 的新分词器，训练覆盖超过 100 种语言，压缩自然语言与源代码比 SentencePiece 更高效。
指令微调能力
经过高级微调与对齐，相比 Mistral 7B 在精确遵循指令、推理、多轮对话和生成代码方面明显更强。
函数调用
模型经过函数调用训练，可在应用中把自然语言请求映射为结构化调用，便于接入工具与外部系统。
FP8 无损推理
采用量化感知训练，支持 FP8 推理且不带来性能损失，可在保持精度的同时降低推理开销。
即插即用替换
基于标准架构，可直接替换任何使用 Mistral 7B 的系统，无需大幅改动现有集成代码。
Mistral NeMo值不值得用？
当需要在一个 12B 规模模型上做多语言应用、且希望使用 Apache 2.0 许可的开放权重时，Mistral NeMo 是合理选择；它的 128k 上下文与 Tekken 分词器在长文本和中文、韩语、阿拉伯语等语言上压缩效率更高。当系统已经在用 Mistral 7B 时，它可直接替换升级。但若需要官方托管、明确的价格档位或商用授权说明，当前公开信息不足，应先在 la Plateforme 或 ai.nvidia.com 上确认调用条款。
建议选它的情况
- 需要 12B 规模、Apache 2.0 许可的开放权重模型
- 做多语言应用，尤其覆盖韩语、阿拉伯语等语言
- 想直接替换现有 Mistral 7B 系统而不改架构
- 需要 128k 长上下文处理长文档或多轮对话
不建议选它的情况
- 希望直接使用官方托管服务而不自行部署
- 对价格档位与免费额度有明确预算要求
- 需要官方给出商用授权范围的书面说明
Mistral NeMo使用建议
入门先把路子走对
- 从 la Plateforme 试起在 la Plateforme 上以 open-mistral-nemo-2407 名称直接调用，先验证多语言与长上下文效果，无需自行部署。
- 确认替换兼容性如果现有系统使用 Mistral 7B，可先按标准架构做接口对齐测试，再切换到 NeMo，验证输出格式与调用链是否一致。
- 下载基座或指令模型HuggingFace 上同时提供基座与指令微调权重，根据任务是继续微调还是直接推理选择对应检查点。
进阶省时间也省钱
- 开启 FP8 推理模型经过量化感知训练，在支持的硬件上启用 FP8 推理可提升吞吐，同时避免性能损失。
- 用 mistral-finetune 适配对垂直领域任务，用 mistral-finetune 在自有数据上微调，可复用现成工具链，减少自建训练流程的工作量。
- 借力 NVIDIA NIM需要快速上线推理服务时，可直接使用封装为 NVIDIA NIM 推理微服务的版本，从 ai.nvidia.com 获取。
Mistral NeMo适合谁用？
多语言应用开发者
推荐需要覆盖中文、日语、韩语、阿拉伯语等语言的应用，Tekken 分词器对韩语、阿拉伯语压缩效率更高，可降低 token 消耗。
Mistral 7B 现有用户
推荐已有基于 Mistral 7B 的系统可直接替换升级，标准架构与即插即用设计减少迁移成本。
研究者与企业
推荐Apache 2.0 许可下可使用预训练基座与指令检查点，适合在自有环境继续研究或二次开发。
预算敏感的个人用户
有条件官方未公布该模型的独立价格与免费额度，若希望零成本长期使用托管服务，需先确认费用与配额。
需要商用授权书面确认的团队
不推荐官方未说明版权与商用授权范围，接商业项目前应自行核实许可条款。
Mistral NeMo优点和缺点
优点
- 12B 参数下推理、世界知识与编码准确率在同类中领先
- 上下文窗口最高支持 128k tokens
- Apache 2.0 许可发布，便于研究与商用采纳
- 支持 FP8 推理且无性能损失
- 覆盖英语、中文、日语、韩语、阿拉伯语等多语言
- 可直接替换使用 Mistral 7B 的系统
缺点
- 官方未公布自身价格与免费额度
- 版权与商用授权范围未说明
- 在多语言基准上的具体得分未给出完整数值
- 第三方生态与托管选项仍以官方渠道为主
Mistral NeMo常见问题
Mistral NeMo 免费吗？＋
模型权重以 Apache 2.0 许可发布，可免费下载用于研究与商用。但官方并未公布托管调用的价格与免费额度，在 la Plateforme 上以 open-mistral-nemo-2407 调用时需确认具体计费方式。
它当前的主力版本是什么？＋
Mistral NeMo 是一个 12B 模型，2024 年 7 月 18 日发布，基座与指令微调两种检查点均已开源，托管名称为 open-mistral-nemo-2407。
和 Mistral 7B 怎么选？＋
Mistral NeMo 在指令遵循、推理、多轮对话和代码生成上明显强于 Mistral 7B，且上下文窗口最高 128k tokens，可直接替换现有 Mistral 7B 系统。需要更强能力与更长上下文时选 NeMo。
支持哪些语言？＋
模型在英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文、日语、韩语、阿拉伯语和印地语上表现尤强，新分词器 Tekken 训练覆盖超过 100 种语言。
能在本地或云端怎么部署？＋
权重托管在 HuggingFace，可用 mistral-inference 试用、用 mistral-finetune 微调；也可使用封装为 NVIDIA NIM 推理微服务的版本，从 ai.nvidia.com 获取。
Mistral NeMo最新动态
-
Mistral NeMo 发布
Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo，上下文窗口最高 128k tokens，基座与指令检查点以 Apache 2.0 许可发布。
官方公告 ↗
