分页 SSD KV 缓存
缓存块以 safetensors 格式持久化到磁盘，热块留内存、冷块按 LRU 落 SSD，已见过的前缀跨请求与跨重启恢复，不再重算。
价格免费开源，Apache 2.0 协议
平台macOS
归类AI 编程
收录2025-01-01
复核2025-01-01
编辑评分
4.5 / 5
★★★★☆
oMLX编辑总结
oMLX 是一款面向 macOS 的原生本地 AI 模型推理服务器，基于 Apple MLX 框架构建，要求 Apple Silicon 芯片与 macOS 15 以上系统，采用 Apache 2.0 协议开源。它的核心卖点是分页式 SSD KV 缓存：把缓存块以 safetensors 格式持久化到磁盘，热块留内存、冷块落 SSD，代理回退到旧前缀时从磁盘毫秒级恢复，不必重算，因此第二轮起 TTFT 可低于 5 秒。配合连续批处理，8 路并发下生成速度最高提升 4.14×。同时提供菜单栏应用、Web 面板、OpenAI 与 Anthropic 双协议兼容以及 MCP 工具调用，可直接接入 Claude Code、OpenClaw、Cursor。短板是仅支持 macOS 15+ 的 Apple Silicon 设备，官方未公开定价与获客渠道，性能数字全部基于 M3 Ultra 512GB 这一高端配置。
oMLX是什么？
oMLX 是一款专为 macOS 打造的原生 AI 模型推理服务器，基于 Apple 的 MLX 框架实现，采用 Apache 2.0 协议开源，运行要求 Apple Silicon 芯片和 macOS 15 及以上系统，代码托管在 GitHub。它面向的是在本地跑编码代理的开发者——Claude Code、OpenClaw、Cursor 这类工具会在一次会话中反复打断 KV 缓存，oMLX 的设计正是围绕这个痛点展开。
它的技术核心是分页式 SSD KV 缓存：缓存块以 safetensors 格式持久化到磁盘，采用两级架构，热块保留在内存、冷块按 LRU 策略写入 SSD，已见过的前缀可跨请求甚至跨服务重启恢复，无需重算。吞吐方面通过 mlx-lm 的 BatchGenerator 实现连续批处理，8 路并发下最高获得 4.14× 生成加速。服务端可同时加载 LLM、VLM、embedding 和 reranker 模型，内存不足时按 LRU 淘汰，模型可直接在管理面板中浏览和下载。
使用方式分三层：普通用户通过原生 macOS 菜单栏应用启动、停止和监控服务器，并在 Web 面板里管理模型、聊天和查看实时指标；开发者用 OpenAI 兼容接口或原生 /v1/messages Anthropic 端点接入现有客户端，面板会为每个工具生成对应的配置命令；团队则可依赖多模型并行服务和工具调用能力搭建本地推理底座。应用已签名并公证，支持应用内自动更新，不是 Electron 套壳。
oMLX核心功能
连续批处理
基于 mlx-lm 的 BatchGenerator 处理并发请求，8 路并发下生成速度最高提升 4.14×，请求不必排队等待单个任务完成。
菜单栏原生应用
直接从 macOS 菜单栏启动、停止和监控服务器，配套 Web 面板管理模型、聊天与实时指标，已签名公证并支持应用内自动更新。
多模型同时服务
LLM、VLM、embedding 和 reranker 模型可同时加载，内存不足时按 LRU 淘汰，模型能在管理面板中直接浏览和下载。
双协议兼容接入
兼容 Claude Code、OpenClaw、Cursor 及任何 OpenAI 兼容客户端，另提供原生 /v1/messages Anthropic 端点，面板为每个工具生成配置命令。
工具调用与 MCP
支持 JSON、Qwen、Gemma、GLM、MiniMax 等主流工具调用格式，集成 MCP 工具，并对超长输出做结果裁剪，可按模型单独配置。
oMLX值不值得用？
当你在 Apple Silicon Mac 上跑编码代理、又被反复重算 KV 缓存拖慢响应时，oMLX 值得装：分页 SSD 缓存让第二轮起 TTFT 低于 5 秒，8 路并发还有最高 4.14× 加速，且 Apache 2.0 开源免费。当你的机器不是 Apple Silicon、系统低于 macOS 15，或者团队主力是 Windows 和 Linux，就暂时用不上它。另外官方性能数字全部来自 M3 Ultra 512GB，配置差得远的机器不要按幻灯片上的速度预期。
建议选它的情况
- 在 Apple Silicon Mac 上使用 Claude Code、Cursor 等编码代理，且在意首字延迟
- 需要多个模型同时常驻、又希望冷缓存不占内存
- 希望用 OpenAI 或 Anthropic 兼容接口零改造接入现有工具链
不建议选它的情况
- 使用 Intel Mac 或系统版本低于 macOS 15
- 主力开发环境是 Windows 或 Linux
- 硬件配置远低于 M3 Ultra 512GB，但对官方基准速度有硬性预期
oMLX使用建议
入门先把路子走对
- 从菜单栏启动装好后从 macOS 菜单栏图标启动服务器，先在 Web 面板里下载一个模型，再打开聊天页确认推理正常。
- 用面板生成配置接入 Claude Code 或 Cursor 时不要手写配置，Web 面板会为每个工具生成确切的配置命令，复制粘贴即可。
- 先跑一个模型多模型服务虽方便，但首次使用先只加载一个 LLM，确认 SSD 缓存和延迟表现后再逐步加 VLM 或 reranker。
进阶省时间也省钱
- 让缓存跨会话复用SSD KV 缓存可跨服务重启恢复，日常不必频繁重启服务器，重复的提示前缀会持续命中磁盘缓存。
- 按并发量调批处理官方数据显示 8 路并发加速最明显：Qwen3-Coder-Next 8bit 从 58.7 tok/s 升到 243.3 tok/s，请求少的场景收益有限。
- 超长输出开裁剪工具返回内容过大时启用 tool result trimming，避免长结果挤占上下文并拖慢后续请求。
oMLX适合谁用？
本地跑编码代理的开发者
推荐用 Claude Code、OpenClaw、Cursor 且对首字延迟敏感，第二轮起 TTFT 低于 5 秒的体验提升最直接；需自备 Apple Silicon 机器。
M3 Ultra 高配 Mac 用户
推荐官方基准全部在 M3 Ultra 512GB 上测得，Qwen3.5-122B 在 32k 上下文仍有 42.4 tok/s，硬件越接近该配置越能复现官方数字。
多模型并行研究者
推荐需要同时挂载 LLM、VLM、embedding 与 reranker 时，多模型服务加 LRU 淘汰能省去反复切换加载的麻烦，但显存占用需自行权衡。
Intel Mac 或旧系统用户
不推荐要求 Apple Silicon 与 macOS 15 以上，Intel 机型与旧系统无法运行；升级硬件或系统之前装不上。
依赖 Windows 或 Linux 的团队
不推荐目前仅提供 macOS 版本，跨平台团队无法在主力开发机上直接部署，需另找方案。
oMLX优点和缺点
优点
- Apache 2.0 开源，使用不花钱
- 分页 SSD KV 缓存跨请求与跨重启恢复，第二轮起 TTFT 低于 5 秒
- 8 路并发最高 4.14× 生成加速，请求不再排队
- 原生 /v1/messages Anthropic 端点，Claude Code 可直接接入
- 菜单栏应用已签名公证，支持应用内自动更新，非 Electron 套壳
缺点
- 仅支持 Apple Silicon 与 macOS 15 以上系统
- 官方基准全部基于 M3 Ultra 512GB，低配机器难以复现
- 官网未公开定价方案与免费额度上限
- MiniMax-M2.5 8bit 在 32k 上下文峰值内存达 235 GB，显存门槛高
oMLX常见问题
oMLX 收费吗？＋
项目以 Apache 2.0 协议开源，官网未公开任何付费档位或订阅价格。软件本身按开源协议使用，但官网未说明是否存在其他商业支持或托管服务。
支持哪些模型？＋
基准覆盖 Qwen3.5-122B-A10B-4bit、Qwen3-Coder-Next 8bit、MiniMax-M2.5 8bit 和 GLM-5 4bit，并支持同时加载 LLM、VLM、embedding 和 reranker 四类模型，模型可直接在管理面板中浏览和下载。
和 Ollama、LM Studio 有什么区别？＋
指出 Ollama 和 LM Studio 把 KV 状态缓存在内存里，上下文中途改变时缓存会失效。oMLX 把缓存块以 safetensors 格式持久化到 SSD，热块留内存、冷块按 LRU 落盘，已见过的前缀跨请求和跨重启都能恢复，不用重算。
为什么本地推理需要 SSD 缓存？＋
编码代理在一次会话中会打断 KV 缓存几十次，缓存失效后整段前缀都要重算，等待就变成了 90 秒级。oMLX 把每个缓存块写入 SSD，代理绕回旧前缀时从磁盘毫秒级恢复，第二轮起首字延迟低于 5 秒。
能直接接 Claude Code 和 Cursor 吗？＋
可以。oMLX 提供 OpenAI 兼容接口和原生 /v1/messages Anthropic 端点，兼容 Claude Code、OpenClaw、Cursor 以及任何 OpenAI 兼容客户端，Web 面板还会为每个工具生成对应的配置命令。
对 Mac 硬件有什么要求？＋
需要 Apple Silicon 芯片和 macOS 15 以上系统。所有基准都在 M3 Ultra 512GB 上测得，例如 Qwen3.5-122B-A10B-4bit 在 32k 上下文时峰值内存 73 GB，硬件配置越低可跑的模型规模越小。
oMLX竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| oMLX本工具 | 4.5 | 免费开源，Apache 2.0 协议 | 分页 SSD KV 缓存；连续批处理；菜单栏原生应用；多模型同时服务 | macOS |
| Superapp | — | 未标价 | 一个无需编码的原生 iOS 应用构建人工智能平台 | — |
| Mamba-Codestral-7B-v0.1 | — | 未标价 | 高性能的开源代码模型 | — |
| runCLAUDErun | — | 未标价 | 本地 macOS 应用，用于安排和自动化 Claude Code 任务 | — |
| CodeNext.ai | — | 未标价 | AI 驱动的 Xcode 助手，用于更快速的 iOS 和 macOS 应用开发 | — |
| Sesterce Cloud | — | 未标价 | 欧洲 GPU 云平台，提供高性能、主权和节能的基础设施，用于 AI 训练、推理和高性能计算 | — |
