多语言训练
基础模型覆盖英语、西班牙语、德语、意大利语、法语、葡萄牙语与荷兰语七种语言,在 Okapi 翻译基准与多语言 LAMBADA 上,远超其他小型模型。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
1.6 亿参数多语言小型语言模型,可商用可微调
Stable LM 2 1.6B 是 Stability AI 推出的 Stable LM 2 系列首个语言模型,包含基础版本与指令微调版本。基础模型使用约 2 trillion tokens 训练两个 epoch,覆盖英语、西班牙语、德语、意大利语、法语、葡萄牙语与荷兰语七种语言。它的紧凑体积与速度降低了硬件门槛,官方还额外放出预训练冷却前的最后一个 checkpoint 与优化器状态,方便开发者继续预训练和微调。短板是小型低容量模型的通病:高幻觉率与潜在的有害语言。
Stable LM 2 1.6B 是 Stability AI 发布的语言模型,属于 Stable LM 2 系列的第一个成员,同时提供基础版本和指令微调版本。它面向希望在有限硬件上做生成式 AI 实验的开发者,以及需要快速迭代的小型模型使用者。
在语言建模上采用了较新的算法进展,在速度与性能之间取得平衡,使中等资源即可完成快速实验与迭代。这是首批完整公开训练细节的发布之一,并额外放出了预训练冷却前的最后一个 checkpoint 与优化器状态。
普通用户可以直接在 Hugging Face 上试用该模型;开发者可以基于基础版本做继续预训练与微调;团队则可以把它嵌入自建应用,商用与非商用都可以,但需要加入 Stability AI Membership。也提示,模型可能表现出高幻觉率或生成潜在有害语言,使用时应采取适当措施。
基础模型覆盖英语、西班牙语、德语、意大利语、法语、葡萄牙语与荷兰语七种语言,在 Okapi 翻译基准与多语言 LAMBADA 上,远超其他小型模型。
同时发布基础模型与指令微调版本,既可用于继续预训练,也可直接用于对话与指令类任务。
首次放出预训练冷却前的最后一个 checkpoint,并附带优化器状态,方便开发者在此基础上平滑地继续预训练和在自己数据上微调。
1.6 billion 参数的小体积与较快的推理速度降低了硬件门槛,让更多开发者能够参与生成式 AI 生态。
基础模型使用约 2 trillion tokens 训练两个 epoch,在速度与性能之间取得了较好的平衡。
在 Open LLM Leaderboard 的 few-shot 测试中,多数任务上超过 2B 以下模型,甚至超过部分更大的模型。
官方提供 Hugging Face 上的试用入口,用户无需自行部署即可体验模型能力。
商用与非商用都可以使用,但需要加入 Stability AI Membership,会员分为三个档位。
当你要在有限硬件上跑一个多语言的小模型时,Stable LM 2 1.6B 值得考虑:1.6 billion 参数、约 2 trillion tokens 训练、覆盖七种语言,官方还附带了冷却前的 checkpoint 与优化器状态,做继续预训练和微调都方便;在 Open LLM Leaderboard 的多数任务上超过 2B 以下模型,甚至超过部分更大模型。但要注意两点:小型低容量模型的高幻觉率与潜在有害语言问题官方自己也点明了;商用与非商用都需要 Stability AI Membership,官方只说明分三档,没有给具体费率。
1.6 billion 参数、约 2 trillion tokens 训练,硬件门槛低,适合放在本地或小规模环境做实验。
训练数据覆盖七种语言,在翻译版基准上表现突出,适合做多语言方向的尝试。
首次放出冷却前 checkpoint 与优化器状态,继续预训练和微调更方便。
提示小型低容量模型可能存在高幻觉率与潜在有害语言,关键任务需要额外校验。
商用与非商用都需 Stability AI Membership,官方只说明分三档,未公开具体费率。
商用与非商用都可以使用,但需要加入 Stability AI Membership。说明会员分为三个档位,从个人到企业都可选用,但没有公开具体费率,实际价格需以官方页面为准。
发布的是 Stable LM 2 系列的第一个语言模型,包含 1.6 billion 参数的基础模型和一个指令微调版本。
官方把 Phi-1.5(1.3B)、Phi-2(2.7B)、TinyLlama 1.1B、Falcon 1B 作为对照,称 Stable LM 2 1.6B 在多数任务上超过 2B 以下模型,甚至超过部分更大的模型。选型时按自己的任务在这些对照结果上再验证。
未说明国内访问情况。模型可以在 Hugging Face 上试用,商用与非商用都需要 Stability AI Membership,具体可用性需自行按所在地区和官方页面确认。
可以。额外放出了预训练冷却前的最后一个 checkpoint,并附带优化器状态,方便开发者在此基础上继续预训练,或用自己的数据做微调。提到一些近期预训练模型因后期优化而较难微调,这个 checkpoint 正是为此准备。
明确提示,由于小型低容量语言模型的性质,Stable LM 2 1.6B 可能存在高幻觉率或生成潜在有害语言等常见问题,建议在构建应用时采取适当措施,负责任地开发。
训练数据包含英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语的多语言数据,基础模型使用约 2 trillion tokens 训练两个 epoch。完整的数据配比与训练流程会在后续技术报告中说明。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Stable LM 2 1.6B本工具 | 4.1 | 商用与非商用均需 Stability AI Membership,分为三档 | 多语言训练;基础与指令双版本;公开冷却前 checkpoint;紧凑体积低门槛 | Web / API |
| Skywork-MoE-Base-FP8 | — | 未标价 | 146亿参数的高性能 MoE 模型 | — |
| Gemma-7B | — | 未标价 | 谷歌70亿参数的语言模型 | — |
| INTELLECT-1-Instruct | — | 未标价 | 10亿参数的英文文本和代码语言模型 | — |
| Llama-lynx-70b-4bitAWQ | — | 未标价 | 70亿参数的文本生成模型 | — |
| Llama-3[8B] Meditron V1.0 | — | 未标价 | 一款基于生物医学数据的8亿参数大型语言模型 | — |