314B 参数 MoE
总参数 3140 亿的 Mixture-of-Experts 模型,在给定 token 上约 25% 的权重处于激活状态,用稀疏激活控制实际计算量。
官方说明 ↗拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Grok-1 是 xAI 从零训练并开放权重与网络架构的大型语言模型,采用 Mixture-of-Experts 结构,总参数 3140 亿,每个 token 激活约 25% 的权重,预训练于 2023 年 10 月完成,以 Apache 2.0 协议发布。它是预训练阶段的原始基础检查点,未针对对话等具体应用做微调,因此不能直接当聊天助手使用。更大的短板在于:官方只给了基础权重,官网未公开模型的实际评测分数、推理成本与可商用范围之外的配套支持。
Grok-1 是 xAI 从零训练的大型语言模型,xAI 将它的基础模型权重和网络架构对外开放发布,发布时明确说明这是 Grok-1 预训练阶段产出的原始基础模型检查点,预训练在 2023 年 10 月结束。
模型本身是一个 314B 参数的 Mixture-of-Experts 模型,在给定 token 上约 25% 的权重处于激活状态,训练使用了 xAI 自研的训练栈,构建在 JAX 与 Rust 之上,训练数据为大量文本数据。权重与架构以 Apache 2.0 协议发布,官方给出的上手入口是 github.com/xai-org/grok 上的说明。
使用方式上,研究者与开发者可以按官方仓库的指引把权重跑起来做二次实验或微调;普通用户无法直接把它当产品使用,因为它没有针对对话等具体任务做微调,xAI 面向个人和团队的对话产品是通过另一条产品线提供的。
当你要研究 314B 规模 Mixture-of-Experts 的权重结构、或想在 Apache 2.0 协议下拿一个原始基础检查点做微调实验时,Grok-1 是合适的素材,权重与架构都开放,官方给了 GitHub 上手说明。但它不是拿来直接对话的产品,预训练检查点没有做过对话微调,要得到可用的助手效果得自己补训练。推理硬件门槛与配套工具链,评估成本前需要自行实测。
需要真实 MoE 权重做结构分析或复现实验,开放的权重与架构能直接支撑这类研究。
想拿原始基础检查点做二次训练,Apache 2.0 协议降低了再分发与改动的门槛。
模型未做对话微调,不能当聊天助手直接用,要对话应走 xAI 面向用户的产品线。
它是 xAI 从零训练的 314B 参数 Mixture-of-Experts 大语言模型,发布的是 Grok-1 预训练阶段的基础模型检查点,预训练在 2023 年 10 月完成。
不能。官方明确说明这是原始基础模型检查点,没有针对对话等具体应用做微调,要得到对话效果需要使用者自行做后续训练或适配。
权重与网络架构以 Apache 2.0 协议发布,可在协议范围内查看、修改与再分发,具体条款以协议原文为准。
按官方给出的说明操作,入口是 github.com/xai-org/grok,仓库里有加载与使用的指引,先在合适的环境里跑通再考虑改动。
Grok-1 是 MoE 结构,总参数 3140 亿,在给定 token 上约 25% 的权重处于激活状态,因此实际计算量低于总参数量对应的稠密模型。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Grok-1本工具 | 4.5 | 未标价 | 314B 参数 MoE;权重与架构开放;原始基础检查点;自研训练栈 | Web / iOS / Android |
| Llama-lynx-70b-4bitAWQ | — | 未标价 | 70亿参数的文本生成模型 | — |
| Skywork-MoE-Base | — | 未标价 | 1460亿参数的高性能混合专家模型 | — |
| Gemma-7B | — | 未标价 | 谷歌70亿参数的语言模型 | — |
| Llama-Lynx-70b-4bit-Quantized | — | 未标价 | 70亿参数的量化文本生成模型 | — |
| Meta-Llama-3.1-70B | — | 未标价 | 70亿参数的大型多语言文本生成模型 | — |
Grok-1 的预训练阶段在 2023 年 10 月结束,发布的是该阶段产出的基础模型检查点。
官方公告 ↗