Mamba 架构
采用与 Transformer 不同的 Mamba 架构，其具备线性时间推理优势，并具有理论上建模无限长度序列的能力。
Codestral Mamba
AI TOOL PROFILE工具资料Mistral AI 推出的代码模型，采用 Mamba 架构，支持线性时间推理与超长序列。
价格官网未标价
平台Web / API
归类AI 编程
收录2024-07-16
复核2024-07-16
编辑评分
4.3 / 5
★★★★☆
Codestral Mamba编辑总结
Codestral Mamba 是 Mistral AI 于 2024 年 7 月 16 日发布的代码模型，出自 Mixtral 系列之后的架构探索，由 Albert Gu 与 Tri Dao 协助设计。它使用 Mamba 架构，具备线性时间推理能力，并经过最多 256k tokens 的上下文检索测试，配有高级代码与推理能力，可与基于 Transformer 的 SOTA 模型表现相当。模型为指令模型，参数量 7,285,403,648，采用 Apache 2.0 许可，可自由使用、修改和分发。用户可通过 mistral-inference SDK、TensorRT-LLM 部署，或从 HuggingFace 下载权重。短板是本地推理的 llama.cpp 支持尚未落地，且官方未公开各自部署方式的具体性能与额度限制。
Codestral Mamba是什么？
Codestral Mamba 是 Mistral AI 团队发布的代码模型，是该团队在 Mixtral 系列之后继续研究新架构的一步，设计过程中得到了 Albert Gu 与 Tri Dao 的帮助，面向代码生成与代码生产力场景。
与 Transformer 模型不同，Mamba 模型具备线性时间推理的优势，并具有理论上建模无限长度序列的能力，因此无论输入多长都能较快响应。官方针对最多 256k tokens 的上下文检索能力做了测试，并将它定位为适合本地运行的代码助手。
团队同时提示本地推理的 llama.cpp 支持值得关注。
Codestral Mamba核心功能
超长上下文测试
官方对上下文检索能力做了最多 256k tokens 的测试，说明它能在较长输入下保持可用表现。
代码与推理能力
模型针对高级代码与推理能力进行训练，其表现可与基于 Transformer 的 SOTA 模型相当。
本地代码助手
官方将其定位为适合本地运行的代码助手，可用于本地推理场景，具体支持进度以官方页面为准。
Apache 2.0 许可
模型以 Apache 2.0 许可发布，可用于自由使用、修改与分发。
指令模型
Codestral Mamba 是指令模型，参数量为 7,285,403,648。
在线试用
官方将其以 codestral-mamba-2407 的名称放在 la Plateforme 上，方便直接测试。
Codestral Mamba适合谁用？
本地代码助手用户
推荐明确将其定位为适合本地运行的代码助手，并提供了 mistral-inference SDK 等部署途径。
架构研究者
推荐Mamba 架构具备线性时间推理优势，且模型以 Apache 2.0 许可发布，便于研究与二次开发。
需要长上下文检索的开发者
推荐测试了最多 256k tokens 的上下文检索，适合处理较长输入的场景。
依赖 llama.cpp 的用户
有条件提示 llama.cpp 的本地推理支持尚待关注，若当前工作流依赖该工具需要留意后续进展。
需要商业自部署许可的团队
有条件Codestral Mamba 采用 Apache 2.0 许可，但家族中 Codestral 22B 的商业许可条件不同，选型时需区分。
Codestral Mamba优点和缺点
优点
- Apache 2.0 许可，可自由使用、修改和分发。
- Mamba 架构具备线性时间推理，输入越长响应依然较快。
- 测试过最多 256k tokens 的上下文检索能力。
- 参数量 7,285,403,648，为指令模型。
- 可在 la Plateforme 以 codestral-mamba-2407 试用。
缺点
- llama.cpp 本地推理支持仍需关注后续进展。
- 未公开具体价格与额度信息。
- 未公开与 Codestral 22B 之外的竞品对比细节。
Codestral Mamba常见问题
Codestral Mamba 免费吗？＋
模型以 Apache 2.0 许可发布，可自由使用、修改与分发。未公开该模型在 la Plateforme 上的具体收费标准，实际费用以官方页面为准。
它和 Codestral 22B 怎么选？＋
两者都在 la Plateforme 上提供，Codestral Mamba 的在线名称为 codestral-mamba-2407。许可方面，Codestral Mamba 采用 Apache 2.0，Codestral 22B 则采用商业许可用于自部署，或采用社区许可用于测试。
怎么部署 Codestral Mamba？＋
可以使用 mistral-inference SDK，它依赖 Mamba 官方 GitHub 仓库中的参考实现；也可以通过 TensorRT-LLM 部署；还可以从 HuggingFace 下载原始权重。同时提到 llama.cpp 的本地推理支持值得关注。
国内能不能用？＋
未说明国内访问与使用的限制。由于模型以 Apache 2.0 许可发布并可从 HuggingFace 下载权重，具备自行部署的条件，但具体可用性。
Codestral Mamba竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Codestral Mamba本工具 | 4.3 | 未标价 | Mamba 架构；超长上下文测试；代码与推理能力；本地代码助手 | Web / API |
| CodeGemma | — | 未标价 | 领先的代码生成大语言模型 | — |
| NovaSky | — | 未标价 | NovaSky 是一个专注于代码生成和推理模型优化的人工智能技术平台 | — |
| Code Llama 70B | — | 未标价 | 开源代码生成模型 | — |
| Jovu by Amplication | — | 未标价 | AI 驱动的代码生成平台 | — |
| Wordspilot | — | 未标价 | AI 驱动的 WordPress 代码生成器，用于代码片段、WooCommerce 和流行插件 | Web |
