全开放模型
公开模型权重、训练数据、代码、训练配方和中间检查点，可完整复现和审查训练流程。
价格官网未标价
平台Web
归类大模型与开发平台
收录2024-11-26
复核2024-11-26
编辑评分
4.5 / 5
★★★★☆
OLMo 2编辑总结
OLMo 2 是 Ai2 推出的全开放语言模型系列，包含 7B 和 13B 两种规模，训练数据量最高达 5T tokens。它在英文基准测试中与同等规模的全开放模型持平或更好，并能与 Llama 3.1 这类开放权重模型竞争。其最大特点是开放程度高，除模型权重外还公开训练数据、代码、配方、中间检查点和指令微调版本。配套的 OLMES 评估系统包含 20 项基准，用于衡量知识回忆、常识、通用推理和数学推理等核心能力。技术报告在发布时尚未公开。
OLMo 2是什么？
OLMo 2 是 Ai2（Allen Institute for AI）发布的新一代全开放语言模型系列。所谓全开放，指的是不仅公开模型权重，还公开训练数据、代码、训练配方、中间检查点以及指令微调后的模型版本，让研究者和开发者可以完整复现和审查训练过程。
该系列包含 7B 和 13B 两种参数规模，训练数据量最高达 5T tokens。根据，这些模型在英文学术基准测试中与同等规模的全开放模型持平或更优，并与 Llama 3.1 等开放权重模型具有竞争力。其中 OLMo 2-Instruct-13B 是能力最强的版本，可在 Ai2 playground 中体验。
对于普通用户，可以通过 Ai2 playground 直接试用指令微调模型；对于开发者，可获取权重、代码和训练配方进行二次开发；对于研究团队，开放的中间检查点和完整评估框架 OLMES 为模型训练研究提供了可复现的基础。
OLMo 2核心功能
7B 与 13B 双规模
提供 7B 和 13B 两种参数规模的模型，训练数据量最高达 5T tokens。
指令微调版本
基于 Tülu 3 的后训练方法生成 OLMo 2-Instruct 模型，13B 版本可在 Ai2 playground 体验。
OLMES 评估系统
包含 20 项评估基准，覆盖知识回忆、常识、通用推理和数学推理等核心能力。
训练稳定性优化
针对长训练中的不稳定性和损失尖峰问题采用改进技术，保障最终模型性能。
分阶段训练干预
通过学习率退火和数据课程在预训练后期修补模型能力缺陷，提升最终表现。
OLMo 2适合谁用？
语言模型研究者
推荐需要完整检查训练数据、代码和中间检查点来复现或改进模型的研究人员。
开源模型开发者
推荐希望基于全开放模型做二次开发或微调，需要权重和训练配方。
只想直接调 API 的用户
有条件OLMo 2 主打全开放发布。
需要中文能力的用户
不推荐官方基准以英文学术测试为主，中文表现未在介绍中说明。
OLMo 2优点和缺点
优点
- 7B 与 13B 双规模，训练数据最高达 5T tokens
- 完全开放权重、数据、代码、配方和中间检查点
- 英文基准与 Llama 3.1 等开放权重模型竞争
- 配套 OLMES 评估系统含 20 项基准
- 指令微调版本可在 Ai2 playground 直接体验
缺点
- 发布时技术报告尚未公开
- 官网未说明中文等多语言能力
- 未提供开箱即用的托管 API 服务
- 未公布商用授权与地域限制说明
OLMo 2常见问题
OLMo 2 有哪几种规模？＋
包含 7B 和 13B 两种参数规模，训练数据量最高达 5T tokens。这些模型在英文学术基准上与同等规模的全开放模型持平或更好。
OLMo 2 和 Llama 3.1 有什么区别？＋
Llama 3.1 属于开放权重模型，只公开最终检查点，训练数据和配方信息有限。OLMo 2 是完全开放模型，额外公开训练数据、代码、配方和中间检查点，可完整复现和审查训练过程。
OLMo 2竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| OLMo 2本工具 | 4.5 | 未标价 | 全开放模型；7B 与 13B 双规模；指令微调版本；OLMES 评估系统 | Web |
| Google Gemma Chat Free | — | 未标价 | 基于 Gemini 技术的轻量级开放语言模型 | — |
| Qwen2-VL-2B | — | 未标价 | 最先进的视觉语言模型，支持多模态理解和文本生成 | — |
| InternVL2_5-2B-MPO | — | 未标价 | 先进的多模态大型语言模型 | — |
| Mistral NeMo | — | 未标价 | 最先进的12B 模型，支持多语言应用 | Web / API |
| InternVL2_5-38B | — | 未标价 | 先进的多模态大型语言模型系列 | — |
