混合 MoE 架构
Transformer 与 Mamba 结合的混合专家架构,在各类上下文长度下都保持高吞吐与低内存占用,同时维持与 Transformer 模型相当或更好的质量。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Jamba 是 AI21 Labs 推出的开放权重语言模型,采用 Transformer-Mamba 混合专家(MoE)架构。当前主力版本为 Jamba-1.5,提供 Jamba-1.5-Large(94B 活跃参数)与 Jamba-1.5-Mini(12B 活跃参数)两个尺寸,均支持 256K tokens 有效上下文,在开放权重模型中属于最长一档。模型权重以 Jamba Open Model License 公开,可在 Hugging Face 获取;配套的 ExpertsInt8 量化技术同时开源。其明显短板是官网页面只给出模型规格与基准表现,未公开定价、服务可用性或托管方案。
Jamba 是 AI21 Labs 开发的语言模型系列,基于自研的 Jamba 架构。该架构是 Transformer 与 Mamba 的混合专家(MoE)设计,目标是在不同上下文长度下都保持高吞吐与低内存占用,同时维持与 Transformer 模型相当或更好的质量。
当前主力版本是 Jamba-1.5,包含两个尺寸:Jamba-1.5-Large 拥有 94B 活跃参数,Jamba-1.5-Mini 拥有 12B 活跃参数。两者都经过指令微调,面向对话与指令跟随类任务,有效上下文长度为 256K tokens。为支持低成本推理,AI21 Labs 推出 ExpertsInt8 量化技术,使 Jamba-1.5-Large 在处理 256K token 上下文时能装入一台配备 8 张 80GB GPU 的机器,且不损失质量。模型权重以 Jamba Open Model License 公开,ExpertsInt8 以开源形式发布。
开发者可以直接从 Hugging Face 获取两个尺寸的模型权重并自行部署或微调,适合需要长上下文、又要控制推理成本的场景。研究团队可以借助开放的权重与量化方案复现或对比长上下文基准表现,而普通用户若只想直接对话使用,需要依赖第三方或自建的托管服务。
Transformer 与 Mamba 结合的混合专家架构,在各类上下文长度下都保持高吞吐与低内存占用,同时维持与 Transformer 模型相当或更好的质量。
提供 Jamba-1.5-Large(94B 活跃参数)与 Jamba-1.5-Mini(12B 活跃参数)两个版本,可按算力与质量需求选择。
两个尺寸的有效上下文长度均为 256K tokens,在开放权重模型中属于最长一档,适合处理长文档与长对话。
自研量化技术,让 Jamba-1.5-Large 在处理 256K token 上下文时能装入一台 8 张 80GB GPU 的机器,且不损失质量,降低推理成本。
两个尺寸都针对多种对话与指令跟随能力做了微调,可直接用于聊天与任务执行类场景。
两个尺寸的模型权重以 Jamba Open Model License 公开发布,ExpertsInt8 以开源形式发布,可自行下载部署。
当你要在开放权重模型里找长上下文方案时,Jamba 值得考虑:256K tokens 的有效上下文在开放权重模型中属于最长一档,Jamba-1.5-Large 的 94B 活跃参数配上 ExpertsInt8,能在 8 张 80GB GPU 上跑满 256K 上下文且不损质量,部署成本可控。当你要找开箱即用的对话产品、或需要明确的按量计费与 SLA 时,它并不合适——当前公开信息集中在模型规格与开放权重,托管服务与定价均未公布,需要自行解决部署或另找托管方。
需要处理长文档或长对话,256K tokens 的有效上下文能省去分段与检索的工程投入,权重开放便于自部署。
已有 GPU 资源,ExpertsInt8 让 94B 活跃参数的 Large 能在 8 张 80GB GPU 上跑 256K 上下文,推理成本可控。
Jamba-1.5 在长上下文基准上表现突出且权重公开,适合作为可复现的对比基线。
公开信息集中在模型规格与开放权重,托管服务与计费方式未公布,没有现成入口可直接对话使用。
定价、服务等级与可用区域均未公布,采购流程需要的商务信息暂无法从这里获得。
当前是 Jamba-1.5 系列,共两个尺寸:Jamba-1.5-Large 拥有 94B 活跃参数,Jamba-1.5-Mini 拥有 12B 活跃参数。两者均为指令微调版本,有效上下文长度 256K tokens。权重可从 Hugging Face 的 ai21labs 组织页获取。
两个尺寸的有效上下文长度都是 256K tokens。在长上下文基准评测中,Jamba-1.5 的表现优于其他开放权重模型。
配合 ExpertsInt8 量化技术,Jamba-1.5-Large 在处理 256K token 上下文时可装入一台配备 8 张 80GB GPU 的机器,且不损失质量。ExpertsInt8 已开源,可自行取用。
两个尺寸的权重都在 Jamba Open Model License 下公开发布,可从 Hugging Face 的 ai21labs 组织页下载。是否允许你的具体商用方式,需按该许可条款核对。
不是。Jamba 采用 Transformer 与 Mamba 结合的混合专家(MoE)架构,目标是在不同上下文长度下保持高吞吐与低内存占用,同时维持与 Transformer 模型相当或更好的质量。