AI 工程
TECH STACK开发技术栈把模型接进应用：统一接入与网关、Agent 编排与记忆、工具与 MCP、检索增强，以及把模型跑起来和微调。
收录条目
160 条
按用途筛选，同类才可比
先按分类把范围缩到一类：模型接入与网关、Agent 编排、记忆与上下文、工具与 MCP、检索与 RAG、推理与微调；同一类里再比形态与许可证。
分类
6 个
按用途分组
适用场景
技术选型
先定位，再比同类
数据日期
2026-10-27
核对到这一天
口径边界
只比同类
跨类不横向比
筛选与排序
显示 160 / 160 条AI 工程对照表
第 1 / 6 页 · 共 160 条| 名称 | 分类 | 形态 | 一句话定位 | 亮点 / 热度 | 许可证 | 详情 |
|---|---|---|---|---|---|---|
| agentgateway Solo.io · 接入网关与路由 | 模型接入与网关 | AI 与工具流量代理 | 面向模型与工具流量的网关 | 在数据面统一处理模型调用与工具协议流量，鉴权、限流、审计与可观测性按策略统一下发；对… | Apache-2.0 | 查看详情 |
| Apache APISIX AI Gateway Apache 软件基金会 · 统一接入网关 | 模型接入与网关 | API 网关插件 | 用 APISIX 插件做多模型代理与负载均衡 | ai-proxy 与 ai-proxy-multi 插件把 OpenAI、Anthr… | Apache-2.0 | 查看详情 |
| Apache ShenYu Apache 软件基金会 · 接入网关与路由 | 模型接入与网关 | 可插件化的接口网关 | 插件化网关的模型接入扩展 | 以插件链代理各类接口，鉴权、限流、日志与协议转换都能按需拼装；控制台可动态改规则不用… | Apache-2.0 | 查看详情 |
| Azure AI Foundry Model Router Microsoft · 路由与降级 | 模型接入与网关 | 云平台内置路由 | 在 Azure 上用一次部署自动选模型 | 在 Azure AI Foundry 里把模型路由当成一个部署来调用，平台按提示复杂… | — | 查看详情 |
| Bifrost Maxim AI · 统一接入网关 | 模型接入与网关 | 自建网关（单二进制 / Go SDK） | Go 单二进制，低开销接千级模型 | 单个 Go 二进制即可启动，官方称在 5k RPS 下网关自身开销低于 100 微秒… | Apache-2.0 | 查看详情 |
| Cloudflare AI Gateway Cloudflare · 多模型聚合服务 | 模型接入与网关 | 托管网关 | 不改代码就能给模型调用加缓存与限流 | 把上游地址换成网关地址即可获得统一入口、请求缓存、限流、重试与回退，以及按模型统计的… | — | 查看详情 |
| Envoy AI Gateway Envoy AI Gateway 项目 · 统一接入网关 | 模型接入与网关 | Kubernetes 网关（基于 Envoy Gateway） | 在 Envoy 数据面上做生成式 AI 的统一入口 | 把模型供应商抽象成 Kubernetes CRD，用声明式配置管理上游凭据、路由与按… | Apache-2.0 | 查看详情 |
| Go AI 协议网关 数据 / AI · AI 协议网关 | 模型接入与网关 | 技术名词 | 把多家模型供应商协议统一成独立入口的 Go 服务 | 业务服务管产品，router 管模型协议和供应商差异。 | — | 查看详情 |
| GPTCache Zilliz · 语义缓存与成本控制 | 模型接入与网关 | 自建缓存库 | 给 LLM 请求加一层语义缓存 | 把请求向量化后按相似度命中历史答案，命中即直接返回，业务逻辑只需包一层；支持多种向量… | MIT | 查看详情 |
| Guardrails for Amazon Bedrock Amazon Web Services · 接入网关与路由 | 模型接入与网关 | 托管内容护栏服务 | 挂在模型调用链路上的内容策略 | 把内容过滤、敏感信息遮蔽与话题限制做成可复用策略，挂到模型调用上统一生效；策略集中管… | — | 查看详情 |
| Helicone Helicone · 语义缓存与成本控制 | 模型接入与网关 | 自建 / 托管代理 | 一行代码接入的可观测与缓存代理 | 改一个 base_url 就能记录每次调用的提示、响应、延迟与成本，并在代理层开启响… | Apache-2.0 | 查看详情 |
| Higress 阿里巴巴（Higress 社区） · 统一接入网关 | 模型接入与网关 | 云原生网关（Envoy + Istio） | 从 Nginx Ingress 演进出的 AI 原生网关 | 基于 Envoy 与 Istio，把 Ingress、微服务网关与 AI 网关合成一… | Apache-2.0 | 查看详情 |
| Kong AI Gateway Kong · 统一接入网关 | 模型接入与网关 | API 网关插件集 | 在成熟 API 网关上加一层 AI 代理与治理 | AI 能力以插件形式挂在 Kong Gateway 上，鉴权、限流、日志、灰度这些既… | Apache-2.0 | 查看详情 |
| LiteLLM BerriAI · 统一接入网关 | 模型接入与网关 | 自建网关 / SDK | 用一套 OpenAI 协议接 100+ 家模型 | 把上百家厂商的鉴权方式、参数差异、流式与错误码统一成 OpenAI 格式，换模型只改… | MIT | 查看详情 |
| New API QuantumNous（开源项目） · 统一接入网关 | 模型接入与网关 | 自建网关（单二进制 / Docker） | One API 的活跃衍生版，支持多协议互转 | 在 One API 基础上重写了前后端，支持 OpenAI、Claude、Gemin… | AGPL-3.0 | 查看详情 |
| Not Diamond Not Diamond · 路由与降级 | 模型接入与网关 | 托管 API + SDK | 用元模型预测哪个模型答得更好 | 把候选模型与偏好交给路由服务，它按历史评测与请求特征预测各模型答好或答对的概率，再选… | — | 查看详情 |
| One API JustSong（开源项目） · 统一接入网关 | 模型接入与网关 | 自建网关（单二进制 / Docker） | 把各家模型统一成 OpenAI 接口并做 key 分发 | 一个 Go 二进制加数据库就能跑，把 OpenAI、Claude、Gemini、通义… | MIT | 查看详情 |
| OpenRouter OpenRouter · 多模型聚合服务 | 模型接入与网关 | 托管聚合 API | 一个 API 调几百个模型，按用量付费 | 用一个密钥和一套 OpenAI 兼容接口访问大量模型与上游供应商，同一模型可自动在多… | — | 查看详情 |
| Portkey Gateway Portkey · 统一接入网关 | 模型接入与网关 | 自建网关（Node 服务） | 配置驱动的 AI 网关，自带护栏与回退 | 路由表、重试、负载均衡与回退都用配置描述，改行为不用改代码；内置 50 多种护栏在请… | MIT | 查看详情 |
| PromptLayer PromptLayer · 接入网关与路由 | 模型接入与网关 | 提示词管理与调用观测平台 | 提示词版本管理与调用追溯 | 提示词按版本管理，每次调用连同请求、响应与耗时一起记录，改完一版能直接比对前后差异；… | Apache-2.0（SDK） | 查看详情 |
| PyTorch 数据 / AI · 深度学习 | 模型接入与网关 | 技术名词 | 灵活的深度学习框架 | 训练和运行神经网络的工作台。 | — | 查看详情 |
| Requesty Requesty · 路由与降级 | 模型接入与网关 | 托管 API | 一个端点接多家模型，带策略路由与回退 | 提供 OpenAI 兼容的统一端点，按策略在多家上游之间路由，支持故障回退、延迟优先… | — | 查看详情 |
| RouteLLM LMSYS · 接入网关与路由 | 模型接入与网关 | 模型路由框架 | 按问题难度分流的模型路由 | 训练好的路由器先判断问题难度，再决定交给强模型还是便宜模型，能在质量基本不掉的前提下… | Apache-2.0 | 查看详情 |
| TensorZero TensorZero · 接入网关与路由 | 模型接入与网关 | LLM 网关与观测平台 | 网关与可观测一体的 LLM 平台 | 用 Rust 写的网关统一各厂商接口，请求、延迟与成本指标直接落库，能在网关层做分流… | Apache-2.0 | 查看详情 |
| Transformers 数据 / AI · AI 模型生态 | 模型接入与网关 | 技术名词 | 预训练模型、微调与推理工具库 | 把现成的大模型接进自己的应用。 | — | 查看详情 |
| Vercel AI Gateway Vercel · 多模型聚合服务 | 模型接入与网关 | 托管聚合 API | Vercel 平台上的统一模型端点与预算控制 | 在 Vercel 项目里用一个端点和一份额度调用多家模型，模型标识与 AI SDK… | — | 查看详情 |
| vLLM Semantic Router vLLM 项目 · 路由与降级 | 模型接入与网关 | 自建路由层（K8s / 容器） | 按提示语义把请求分给合适规模的模型 | 用分类模型判断请求难度与意图，把简单问题交给小模型、复杂问题交给大模型，在保持质量的… | Apache-2.0 | 查看详情 |
| @openai/agents 数据 / AI · Agent SDK | Agent 编排 | 技术名词 | 组织模型、工具、上下文和多步执行的 Agent SDK | 把模型调用提升成可编排、可恢复的 Agent 工作流。 | — | 查看详情 |
| Agent Development Kit (ADK) Google · 2.12.x | Agent 编排 | 开源框架 | Google's open-source, code-first framework for building, evaluat… | code-first agents、graph workflows | Apache-2.0 | 查看详情 |
| Agno Agno · 3.x | Agent 编排 | 开源框架 | Phidata rebranded, now on its 3.x line under Apache-2.0 and posi… | multi-modal agents、memory | Apache-2.0 | 查看详情 |
数据说明
收录规模160 个条目分 6 类，同类之间才可比
资料口径各项目官方文档与代码仓库以官方文档与仓库为准，只做中文整理
数据日期2026-10-27核对到这一天，官方改动以官方为准
口径边界只比同类跨类场景不同，不可直接比价与打分
常见问题
AI 能力要接进现有系统，还是单独搭一套？
绝大多数情况是接进现有系统：网关统一多模型接入与配额，框架负责编排与工具调用，检索负责把内部资料接进上下文。只有训练、私有化部署与大规模推理才需要另起服务面，所以这几类条目归在同一栏，按上面的顺序看即可。
网关和 Agent 框架是一回事吗？
不是。网关解决「请求怎么送到模型」——统一协议、密钥、配额、路由与降级；Agent 框架解决「模型怎么组织成能干活的程序」——编排、工具调用、记忆与状态。
条目信息取自各项目官方仓库与文档；定位、优势与注意事项为中文归纳，数值不改写，仓库地址、许可证与版本以官方为准。