128K 长上下文
上下文窗口扩展到 128K tokens,记忆容量是上一代 Grok-1 的 16 倍,能容纳显著更长的文档,并在窗口拉长时保持指令遵循能力。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Grok-1.5 是 xAI 在 Grok-1 之后推出的新模型,主打长上下文理解与进阶推理,上下文窗口扩展到 128K tokens,记忆容量达到此前版本的 16 倍。数学与代码表现提升明显,MATH 基准拿到 50.6%,GSM8K 拿到 90%,HumanEval 拿到 74.1%。它即将面向早期测试者与 𝕏 平台现有 Grok 用户开放,训练跑在基于 JAX、Rust 与 Kubernetes 的自研分布式框架上。短板是官方尚未公布独立定价与国内可用性。
Grok-1.5 是 xAI 开发的大型语言模型,是继 Grok-1 之后的升级版本。xAI 两周前开源了 Grok-1 的模型权重与网络架构,此后持续改进推理与问题解决能力,Grok-1.5 就是这一阶段的成果,将面向早期测试者以及 𝕏 平台上的现有 Grok 用户开放。
这一版本最实质的变化在上下文窗口:从上一代的长度扩展到 128K tokens,记忆容量达到此前的 16 倍,可以处理更长的文档和更复杂的提示词,同时在上下文拉长时仍保持指令遵循能力。在 Needle In A Haystack 检索评测中,它对 128K 长度上下文中的嵌入文本实现了完美检索。代码与数学是另一处提升重点,MATH 得分为 50.6%,GSM8K 得分为 90%,HumanEval 得分为 74.1%。
底层训练跑在一套自研分布式框架上,基于 JAX、Rust 和 Kubernetes,配套的训练编排器会自动检测并剔除问题节点,并对检查点、数据加载和任务重启做了优化以减少故障停机时间。对普通用户来说,它主要作为 𝕏 平台上的对话助手使用;对开发者,xAI 公开了训练技术栈方向的招聘入口;对团队,后续会逐步扩大开放范围。
上下文窗口扩展到 128K tokens,记忆容量是上一代 Grok-1 的 16 倍,能容纳显著更长的文档,并在窗口拉长时保持指令遵循能力。
在 Needle In A Haystack 评测中,对最长 128K tokens 上下文里的嵌入文本实现了完美检索,适合从长材料中定位具体信息。
MATH 基准得分 50.6%(4-shot),GSM8K 基准得分 90%(8-shot),覆盖从小学到高中竞赛难度的数学题。
HumanEval 基准得分 74.1%(0-shot),该基准评估代码生成与问题解决能力,相比 Grok-1 的 63.2% 有明显提升。
可处理更长、更复杂的提示词,在上下文窗口扩展的同时保持指令遵循能力,适合多步骤、长链条的任务拆解。
构建在基于 JAX、Rust 和 Kubernetes 的分布式训练框架上,训练编排器可自动检测并剔除问题节点,降低训练中断风险。
当作长文档理解和数理推理工具用时,Grok-1.5 的 128K 上下文和 MATH 50.6%、GSM8K 90%、HumanEval 74.1% 的成绩能覆盖大部分日常需求,尤其适合需要一次性塞进整份材料的场景。当你要把它接入自有系统或做商用部署时要谨慎:它的主要形态仍是 𝕏 平台内的助手,官方未公开独立的 API 定价与国内可用性。如果你的任务以超长代码库分析或需要稳定 API 集成为主,建议先确认开放范围再投入。
需要把整份合同、论文或报告一次性交给模型再提问的人,128K 上下文和完美检索成绩能省去切分步骤。
刷题或做竞赛准备时,可参考 MATH 50.6%、GSM8K 90% 的成绩判断是否满足自己的难度区间。
已经在用 Grok 的读者可以优先体验新版本,无需额外迁移成本。
当前主要面向测试者与 𝕏 用户开放,集成前需先确认。
访问稳定性存在不确定性,正式依赖前建议先做小范围验证。
上下文窗口为 128K tokens,记忆容量达到上一代的 16 倍。在 Needle In A Haystack 评测中,它对 128K 长度上下文里的嵌入文本实现了完美检索,适合处理整份长文档。
MATH 基准 50.6%(4-shot),GSM8K 基准 90%(8-shot),HumanEval 基准 74.1%(0-shot)。相比 Grok-1 的 23.9%、62.9 和 63.2% 均有明显提升,其中 MATH 提升幅度最大。
官方给出的对比中,GPT-4 的 MATH 得分为 52.9%、GSM8K 为 92%、HumanEval 为 67%,MMLU 为 86.4%;Grok-1.5 对应为 MATH 50.6%、GSM8K 90%、HumanEval 74.1%、MMLU 81.3%。数学与通用知识略低,代码生成更高。
会在接下来几天面向早期测试者和 𝕏 平台现有 Grok 用户开放,并逐步扩大范围,同时会陆续推出若干新功能。
构建在基于 JAX、Rust 和 Kubernetes 的自研分布式训练框架上。训练编排器会自动检测并剔除问题节点,检查点、数据加载和任务重启都做过优化以降低故障停机时间。