KV 感知路由
cgn-router 用序列链式 BLAKE3 摘要加最长前缀重叠，从 agent 心跳声明中判断缓存位置，消除重复 prefill，单次路由决策低于 500µs。
价格免费 + 付费
平台Linux / macOS / Kubernetes / Bare metal
归类AI 智能体
收录2026-01-01
复核2026-01-01
编辑评分
4.0 / 5
★★★★☆
Cognitora编辑总结
Cognitora 是一套开源的 LLM 推理编排层，用 Rust 编写，定位是协调多个推理引擎组成统一分布式集群，而不是替换引擎本身。它支持 vLLM、SGLang、llama.cpp、Apple MLX、TRT-LLM 驱动和自研 cgn-infer 引擎，通过单个 OpenAI 兼容网关接入，路由决策低于 500µs。整套系统由六个静态二进制文件组成，one curl install 即可在裸金属、Kubernetes 或云上以相同方式运行，无需 Python 控制平面。短板在于价格未公布，且 cgn-infer 仍处于 preview，live cgn-kvcached 重叠查询也还在路线图中。
Cognitora是什么？
Cognitora 是一个以 Rust 编写的开源推理编排层，面向需要在自有硬件上统一调度多种 LLM 推理引擎的团队。它不替代引擎，而是把多个引擎协调成一个分布式集群，定位是 NVIDIA Dynamo 等编排器的直接替代方案，区别在于引擎覆盖更广、裸金属优先、且支持能耗感知调度。
平台采用模块化设计，六个核心组件均可独立部署：cgn-router 是 KV 感知的 OpenAI 兼容路由网关，cgn-agent 是节点级引擎监督器，cgn-kvcached 提供多级 KV 缓存，cgn-metrics 负责功率遥测，cgn-ctl 是管理 CLI，cgn-operator 是可选的 Kubernetes operator。路由基于序列链式 BLAKE3 摘要与最长前缀重叠，单次决策低于 500µs，并将 prefill 与 decode 拆分到不同副本池。
普通用户可以在单台 Mac 或 Linux 主机上用系统 systemd 启动六个静态二进制文件，先跑通网关、认证和路由路径；开发者按需接入 vLLM、SGLang、llama.cpp、MLX 或 cgn-infer 引擎；团队规模扩大后，通过 QUIC 联邦把单机扩展到机架甚至数据中心，需要声明式部署时再引入 cgn-operator。
Cognitora核心功能
引擎无关编排
通过单个 OpenAI 兼容网关编排 vLLM、SGLang、llama.cpp、Apple MLX、TRT-LLM 驱动和自研 cgn-infer，驱动覆盖比多数编排器更广。
工具调用与结构化输出
tools、tool_choice 和 response_format 直接透传到引擎，包含流式工具调用增量，适合需要函数调用的智能体工作负载。
多模态输入
OpenAI 图像内容部分可直通支持视觉的引擎，前缀哈希保持纯文本处理，因此多模态不会破坏 KV 缓存路由。
Prefill/Decode 拆分
通过 NixlConnector 交接，将 prefill 与 decode 分为独立副本池，可以按阶段分别调优硬件配置。
多级 KV 缓存
cgn-kvcached 在引擎自有 GPU HBM 之后提供 RAM（DashMap）、SSD（RocksDB）两级缓存，并支持跨节点 QUIC 对等获取。
能耗感知调度
cgn-metrics 聚合 Redfish 与 NVML（AMD 上为 rocm-smi）功率遥测，将功耗计入路由评分，并对每节点设置软瓦特上限，热压节点会被降优先级。
原生推理引擎
cgn-infer 是基于 Candle 的一等 GGUF 引擎，支持 CPU、Metal、CUDA，无需外部服务器即可直接运行模型，具备连续批处理与层流水线分布，目前处于 preview。
Cognitora值不值得用？
如果你的团队已经在用 vLLM 或 SGLang，但缺一层能把多台机器、多种引擎统一起来的调度，Cognitora 值得评估：它用六个静态二进制就能在裸金属上跑起来，路由延迟低于 500µs，还带功率感知调度，不需要 Python 控制平面。如果你只有一台开发机，用 systemd 加六个静态二进制跑单节点也够用；但要是你重度依赖 Kubernetes 声明式部署，得额外引入可选的 cgn-operator。真正需要再等等的是 cgn-infer 原生引擎，它仍是 preview，TRT-LLM 驱动也还没有默认配方或 GPU 端到端门禁。
建议选它的情况
- 已在用 vLLM/SGLang，需要统一多引擎、多节点调度的团队
- 想要裸金属优先、不想引入 Python 控制平面的运维环境
- 关注能耗与热压，希望把功耗纳入路由决策的数据中心
- 需要在 Mac、AMD 与 NVIDIA 硬件上运行同一套编排层的团队
不建议选它的情况
- 只托管调用云端 API、不打算自建推理集群的个人用户
- 需要成熟 Kubernetes operator 与完整 GPU 端到端门禁的生产团队
- 想要开箱即用图形界面、不愿接触命令行与 YAML 配置的用户
Cognitora使用建议
入门先把路子走对
- 先跑假引擎按文档先启动返回固定 token 的假引擎，确认网关、认证与路由路径跑通，再接入真实引擎，避免一上来就排查模型加载问题。
- 准备 Rust 环境从源码构建需要 Rust 1.89+，构建约 2 分钟；Linux 可直接用预编译的 x86_64 或 aarch64 二进制，省去编译步骤。
- 用 cgn-ctl 发密钥cgn-ctl 既能生成开发 PKI（四份 PEM 文件），也能签发 API key，先建好这两样再启动 cgn-router，否则请求会被拒。
- 关注三个端口cgn-router 启动后每个监听器会打印一行 JSON 日志：HTTP 在 8080、gRPC 在 7070、admin 在 9091，排障时按端口定位。
进阶省时间也省钱
- 按硬件选驱动NVIDIA GPU 节点选 vllm 或 sglang；CPU 或 GPU 卸载用 llama_cpp；Apple Silicon 选 mlx；引擎由 systemd 或 k8s 管理时选 openai_compat 只做代理。
- 先开 mTLS 再上生产演示阶段可以关掉 mTLS，但正式部署前应开启，平台本身支持 mTLS、OIDC、API key 与 RBAC，这些默认能力不用自己造轮子。
- 缓存分层按介质配GPU HBM 由引擎自有，cgn-kvcached 管 RAM 与 SSD，可按热数据大小决定 DashMap 与 RocksDB 的分配，跨节点再走 QUIC 对等获取。
- 单机满足不了再联邦先从单节点 systemd 部署起步，当单机架不够用时再启用 QUIC 联邦扩展，避免过早引入分布式复杂度。
Cognitora适合谁用？
自建推理集群的团队
推荐已经用 vLLM 或 SGLang 在自有 GPU 上跑模型，需要一个统一网关把多台机器组成集群，Cognitora 的六二进制部署方式可以直接套用。
裸金属运维工程师
推荐偏好 systemd 与静态二进制、不愿维护 Python 控制平面，Cognitora 提供 cgn-ctl 做集群启动、模型部署、流量整形与调试。
Mac 本地开发者
推荐用 Apple Silicon 做本地开发，可通过 mlx 驱动或 examples/local-mac 配置接入 Ollama，不需要构建 GGUF 就能跑通完整路径。
小型个人项目
不推荐如果只是调用现成云 API、不打算自建推理硬件，引入这套编排层会增加运维负担，直接选托管服务更省事。
Kubernetes 重度用户
有条件习惯用 CRD 做声明式发布，需要额外引入可选的 cgn-operator，且 TRT-LLM 驱动目前没有默认配方或 GPU 端到端门禁，生产落地前需自行验证。
Cognitora优点和缺点
优点
- 六个静态二进制 + one curl install，裸金属起步门槛低
- 单个 OpenAI 兼容网关覆盖 vLLM、SGLang、llama.cpp、MLX、TRT-LLM 与自研引擎
- 路由决策低于 500µs，基于 BLAKE3 摘要与最长前缀重叠
- 支持 RAM、SSD 与跨节点 QUIC 三级 KV 缓存
- 能耗感知调度把 Redfish 与 NVML 功耗纳入路由评分
- mTLS、Cosign 验签、OIDC、API-key 与 RBAC 开箱可用
- 无需 Python 控制平面，Rust 实现，单节点到 QUIC 联邦平滑扩展
缺点
- 价格未公布，无法直接估算自建成本
- cgn-infer 仍为 preview，TRT-LLM 驱动缺少默认配方与 GPU 端到端门禁
- live cgn-kvcached 重叠查询仍在路线图中
- Kubernetes 支持依赖可选的 cgn-operator，非默认安装
- Windows 不在支持平台内，macOS 仅作为开发平台
Cognitora关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 路由决策延迟 | 低于 500µs | Cognitora 官网 |
| 核心二进制数量 | 6 个 | Cognitora 官网 |
| 从源码构建时间 | 约 2 分钟 | Cognitora 文档 |
| 从源码构建所需 Rust 版本 | Rust 1.89+ | Cognitora 文档 |
| HTTP 监听端口 | 8080 | Cognitora 文档 |
| gRPC 监听端口 | 7070 | Cognitora 文档 |
| admin 监听端口 | 9091 | Cognitora 文档 |
Cognitora常见问题
Cognitora 是怎么收费的？＋
目前没有公开的定价信息，免费试用与付费档位都未公布，无法给出具体金额或额度。如果你计划在生产环境部署，建议直接联系官方获取报价。
它和 NVIDIA Dynamo 有什么区别？＋
Cognitora 定位为 Dynamo 等编排器的直接替代方案，差异在于引擎覆盖更广，除 vLLM、SGLang 外还支持 llama.cpp、Apple MLX 以及任何 OpenAI 兼容服务器，部署以裸金属优先，并内置能耗感知调度，且不需要 Python 控制平面。
支持哪些推理引擎？＋
单个 OpenAI 兼容网关可编排 vLLM、SGLang、llama.cpp、Apple MLX（mlx-lm）、TRT-LLM 生成驱动（trtllm-serve）以及自研的 cgn-infer 引擎。其中 cgn-infer 处于 preview，TRT-LLM 驱动暂无默认配方与 GPU 端到端门禁。
需要 Kubernetes 才能用吗？＋
不需要。裸金属上用 systemd 加六个静态二进制文件即可运行，cgn-operator 是可选的 Kubernetes operator，只在需要 InferenceCluster、ModelPool、RoutingPolicy 等 CRD 做声明式发布时才引入。
最低硬件要求是什么？＋
Linux 上可用预编译的 x86_64 或 aarch64 二进制；macOS 作为开发平台需要从源码构建，要求 Rust 1.89+，构建时间约 2 分钟。实际推理硬件按所选引擎决定，NVIDIA GPU、AMD 机器或 Apple Silicon 都能接入。
路由延迟是多少？＋
基于序列链式 BLAKE3 摘要与最长前缀重叠，单次路由决策低于 500µs。重复的 prefill 会被消除，完成确认后的缓存声明用于保持索引真实有效。
多模态输入会影响 KV 缓存吗？＋
不会。OpenAI 图像内容部分会直接转发给支持视觉的引擎，但前缀哈希保持纯文本处理，因此图像输入不会干扰基于文本摘要的缓存路由。
国内网络环境能正常使用吗？＋
官网未说明地域限制或国内可用性，安装方式以 curl 与预编译二进制为主，是否受网络环境影响取决于具体部署环境的访问条件，建议先按文档在两分钟内跑通本地假引擎验证。
