混合 SSM-attention 架构
骨干由 Mamba 层与共享注意力层交错组成，注意力层权重共享以压低参数成本，并把原始模型嵌入拼接到注意力块输入来改善信息传递。
Zamba2-mini
AI TOOL PROFILE工具资料Zyphra 推出的 1.2B 小型语言模型，4bit 量化下内存占用不到 700MB
价格官网未标价
平台API
归类大模型与开发平台
收录2024-08-27
复核2024-08-27
编辑评分
4.2 / 5
★★★★☆
Zamba2-mini编辑总结
Zamba2-mini 是 Zyphra 于 2024 年 8 月 27 日发布的小型语言模型，参数量 1.2B，采用 Mamba2 与共享注意力层组成的混合架构。它最大的特点是效率极高：4bit 量化下内存占用不到 700MB，首字延迟比 Phi1.5-1.3B 快 1.67 倍，内存开销减少 23.3%，用 1.2B 参数达到了 Llama2 7B 的水平。模型权重以 Apache 2.0 协议开源，适合设备端部署。但官方未公开具体定价与商业条款，模型规模也限制了对复杂任务的覆盖能力。
Zamba2-mini是什么？
Zamba2-mini 由 Zyphra 开发，是一家位于美国加州帕洛阿尔托的公司，作者包括 Paolo Glorioso、Quentin Anthony、Yury Tokpanov 等。这是一款小型语言模型，参数量 1.2B，主要面向设备端应用场景。
它基于 Zamba 混合 SSM-attention 架构，骨干由 Mamba 层与共享注意力层交错组成。相比 Zamba1-7B，Zamba2-mini 把 Mamba1 块换成了 Mamba2 块，在共享注意力和 MLP 块上都应用了 LoRA 投影矩阵，并为共享注意力层加入了 Rotary Position embeddings。它的预训练数据混合了 Zyda 与其他公开数据集，规模达 3 trillion token，并经过独立退火阶段在 100B 高质量 token 上衰减学习率。
对普通用户来说，它可以通过官方在 Hugging Face 上开源的权重直接下载体验；对开发者来说，Apache 2.0 协议允许在设备端、边缘侧自由集成；对团队来说，它的低内存占用和推理效率适合放进资源受限的产品里。
Zamba2-mini核心功能
1.2B 参数小体积
参数量为 1.2B，用 7 倍参数下降换来同等性能，即 1.2B 的 Zamba2-mini 大致对齐 Llama2 7B 的表现。
低于 700MB 内存占用
在 4bit 量化下内存占用不到 700MB，适合内存资源紧张的手机、笔记本和边缘设备部署。
推理效率优势
相比 Phi1.5-1.3B，首字延迟快 1.67 倍，内存开销减少 23.3%。Mamba2 块的吞吐约为同等参数 transformer 块的 4 倍。
3 trillion token 预训练
预训练数据混合了 Zyda 与其他公开数据集，经过广泛过滤和去重，并设有独立退火阶段在 100B 高质量 token 上衰减学习率。
Apache 2.0 开源权重
模型权重以开源形式发布，采用 Apache 2.0 许可证，开发者可以下载、修改并集成到自己的产品中。
LoRA 投影矩阵
在共享注意力和 MLP 块上应用 LoRA 投影矩阵，让共享层在每次调用时能略微特化到自己所在的位置，同时控制新增参数量。
硬件并行友好
模型尺寸的选取考虑了现代硬件的并行化特性，例如 GPU 上的多个流式多处理器和 CPU 上的多核，便于在不同设备上发挥性能。
Zamba2-mini值不值得用？
Zamba2-mini 适合把语言模型塞进资源受限设备的人，比如手机 App 开发者、边缘计算团队，或者想在本地跑一个 1.2B 模型做实验的研究者。它的 4bit 量化内存不到 700MB、首字延迟比 Phi1.5-1.3B 快 1.67 倍，这些数字在同类小模型里相当能打。但如果你要处理复杂推理、长文档理解，或者需要官方提供商业支持和 SLA，它就不合适了。商业落地前需要自己确认授权细节。总体上，它是设备端场景的一个高性价比选项，不是通用云端大模型的替代品。
建议选它的情况
- 要在手机或边缘设备上本地运行语言模型
- 预算有限但需要 Apache 2.0 开源权重
- 做小模型推理效率对比实验的研究者
- 内存和延迟敏感的实时对话场景
不建议选它的情况
- 需要处理复杂推理或长上下文的云端任务
- 需要官方提供商业支持和服务等级协议
- 需要中文优化或大规模多语言能力的场景
Zamba2-mini适合谁用？
设备端应用开发者
推荐模型在 4bit 量化下不到 700MB，适合集成进手机、笔记本等资源受限设备。
边缘计算团队
推荐首字延迟快、内存开销低，能在边缘服务器上跑起小规模推理服务。
开源模型研究者
推荐Apache 2.0 权重可直接下载，混合 SSM-attention 架构适合做对比实验。
需要复杂推理的企业用户
有条件1.2B 规模对复杂任务覆盖有限，关键业务建议搭配更大模型。
追求开箱即用商业支持的用户
不推荐需要自行确认授权和服务方式。
Zamba2-mini优点和缺点
优点
- 4bit 量化下内存占用不到 700MB
- 内存开销比 Phi1.5-1.3B 减少 23.3%
- 1.2B 参数达到 Llama2 7B 水平
- Apache 2.0 协议开源模型权重
- Mamba2 块吞吐约为同等 transformer 的 4 倍
缺点
- 1.2B 规模对复杂推理覆盖有限
- 官网未说明中文等非英语语言表现
- 官网未公开商用限制细节
Zamba2-mini关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 参数量 | 1.2B | 官网 Zamba2-mini 页面 |
| 4bit 量化内存占用 | <700MB | 官网 Zamba2-mini 页面 |
| 首字延迟提升 | 1.67x faster time-to-first-token（相比 Phi1.5-1.3B） | 官网 Zamba2-mini 页面 |
| 内存开销下降 | 23.3% reduction（相比 Phi1.5-1.3B） | 官网 Zamba2-mini 页面 |
| 预训练数据规模 | 3 trillion token | 官网 Zamba2-mini 页面 |
| 退火阶段 token 量 | 100B | 官网 Zamba2-mini 页面 |
| Mamba2 块吞吐 | 约为同等参数 transformer 块的 4 倍 | 官网 Zamba2-mini 页面 |
Zamba2-mini常见问题
Zamba2-mini 免费吗？＋
模型权重以 Apache 2.0 协议开源发布，可以免费下载使用。官网未公开任何收费计划或商业授权价格，如需商用建议以官方页面为准自行确认条款。
这个模型有多大？＋
参数量为 1.2B，在 4bit 量化下内存占用不到 700MB，用 7 倍参数下降换来了同等性能，1.2B 的 Zamba2-mini 大致对齐 Llama2 7B 的表现。
和 Phi1.5-1.3B 比怎么样？＋
数据是首字延迟快 1.67 倍，内存开销减少 23.3%。Zamba2-mini 还在评估基准上与 Gemma-2B、SmolLM-1.7B、OpenELM-1.1B、StableLM-1.6B 等同类小模型做了对比，取得了 SOTA 级别的表现。
国内能不能用？＋
未说明国内访问或部署的限制。模型权重通过 Hugging Face 等渠道开源发布，实际可用性取决于你能否访问相应下载源，具体以官方页面为准。
它和 Zamba1-7B 有什么区别？＋
Zamba2-mini 把 Mamba1 块替换为 Mamba2 块，在共享注意力和 MLP 块上都应用了 LoRA 投影矩阵，并为共享注意力层加入了 Rotary Position embeddings，从而在更小参数下保持性能。
可以用在手机上吗？＋
它在 4bit 量化下内存占用不到 700MB，强调其为设备端应用设计，模型尺寸也考虑了 CPU 多核与 GPU 流式多处理器的并行化，适合资源受限设备。
Zamba2-mini竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Zamba2-mini本工具 | 4.2 | 未标价 | 混合 SSM-attention 架构；1.2B 参数小体积；低于 700MB 内存占用；推理效率优势 | API |
| Gemma-2B本工具 | — | 未标价 | Google 推出的 2B 规模小模型，官方对比中作为同类参照 | — |
| SmolLM-1.7B本工具 | — | 未标价 | Hugging Face 推出的 1.7B 小模型，官方对比中作为同类参照 | — |
| OpenELM-1.1B本工具 | — | 未标价 | Apple 推出的 1.1B 小模型，官方对比中作为同类参照 | — |
| StableLM-1.6B本工具 | — | 未标价 | StabilityAI 推出的 1.6B 小模型，官方对比中作为同类参照 | — |
| Phi-1.5本工具 | — | 未标价 | Microsoft 推出的 1.3B 小模型， Zamba2-mini 首字延迟快 1.67 倍、内存开销低 23.3% | — |
在 1B 到 2B 参数的小模型区间里，Zamba2-mini 的主要卖点是推理效率和内存占用。给出的对比对象包括 Gemma-2B、SmolLM-1.7B、OpenELM-1.1B、StableLM-1.6B 和 Phi-1.5。如果你最在意设备端内存和首字延迟，Zamba2-mini 的 700MB 以内占用和 1.67 倍首字加速是直接优势；如果你更依赖某个生态的现成工具链，选对应厂商的模型会更省事。具体差异建议用你自己的任务跑一遍评估。
Zamba2-mini最新动态
-
Zamba2-mini 发布
Zyphra 发布 Zamba2-mini（1.2B），采用 Mamba2 与共享注意力混合架构，权重以 Apache 2.0 开源。
