AI 工程
TECH STACK开发技术栈把模型接进应用：统一接入与网关、Agent 编排与记忆、工具与 MCP、检索增强，以及把模型跑起来和微调。
收录条目
160 条
按用途筛选，同类才可比
先按分类把范围缩到一类：模型接入与网关、Agent 编排、记忆与上下文、工具与 MCP、检索与 RAG、推理与微调；同一类里再比形态与许可证。
分类
6 个
按用途分组
适用场景
技术选型
先定位，再比同类
数据日期
2026-10-27
核对到这一天
口径边界
只比同类
跨类不横向比
筛选与排序
显示 160 / 160 条AI 工程对照表
第 6 / 6 页 · 共 160 条| 名称 | 分类 | 形态 | 一句话定位 | 亮点 / 热度 | 许可证 | 详情 |
|---|---|---|---|---|---|---|
| Ray Serve Anyscale / Ray 社区 · 推理服务与部署 | 推理与微调 | 分布式服务框架 | Ray 生态里的模型服务层 | 服务实例可按副本与资源自动扩缩，天然支持多机多卡与组合式推理图；与数据、训练组件共用… | Apache-2.0 | 查看详情 |
| Replicate Fine-Tuning Replicate (Cloudflare) · hosted | 推理与微调 | 微调服务 | Strongest image LoRA experience (FLUX, SDXL). Cloudflare agreed… | lora | — | 查看详情 |
| SGLang SGLang 社区 · 通用推理服务 | 推理与微调 | 在线推理服务 | 面向 Agent 与大规模在线服务的高性能推理框架 | RadixAttention 用基数树复用前缀相同的 KV 缓存，多轮对话、超长系统… | Apache-2.0 | 查看详情 |
| TensorRT-LLM NVIDIA · 分布式与多机部署 | 推理与微调 | 优化推理引擎 | 面向 NVIDIA GPU 的优化推理引擎与 Python API | 把 FP8、INT4 等量化、融合内核、in-flight batching、分页… | Apache-2.0 | 查看详情 |
| Text Generation Inference Hugging Face · 推理服务与部署 | 推理与微调 | 推理服务容器 | Hugging Face 官方推理服务 | 内置连续批处理、张量并行与量化加载，起服务只要一条命令；支持流式输出与兼容接口，平台… | Apache-2.0 | 查看详情 |
| Tinker Thinking Machines Lab · hosted | 推理与微调 | 微调服务 | A research-grade training API rather than a job runner: you writ… | lora、rlhf | — | 查看详情 |
| Together AI Fine-Tuning Together AI · hosted | 推理与微调 | 微调服务 | A broad hosted menu of open models to tune, from Qwen3.5 0.8B up… | lora、full、dpo | — | 查看详情 |
| Triton Inference Server NVIDIA · 分布式与多机部署 | 推理与微调 | 多框架推理服务器 | 云与边缘通用的多框架推理服务器，含集群级部署能力 | 把 TensorRT、PyTorch、ONNX、Python、vLLM 等多种后端统… | BSD-3-Clause | 查看详情 |
| vLLM vLLM 社区 · 通用推理服务 | 推理与微调 | 在线推理服务 | 高吞吐 LLM 推理与 OpenAI 兼容 API 服务 | 核心是 PagedAttention：KV 缓存按块管理，显存碎片大幅减少，同一张卡… | Apache-2.0 | 查看详情 |
| Xinference Xorbits · 通用推理服务 | 推理与微调 | 多模型托管平台 | 把多种开源模型统一托管成 OpenAI 兼容 API 的平台 | 一套服务同时托管语言、语音、多模态与向量模型，按需拉起与卸载，支持多副本和异构硬件混… | Apache-2.0 | 查看详情 |
数据说明
收录规模160 个条目分 6 类，同类之间才可比
资料口径各项目官方文档与代码仓库以官方文档与仓库为准，只做中文整理
数据日期2026-10-27核对到这一天，官方改动以官方为准
口径边界只比同类跨类场景不同，不可直接比价与打分
常见问题
AI 能力要接进现有系统，还是单独搭一套？
绝大多数情况是接进现有系统：网关统一多模型接入与配额，框架负责编排与工具调用，检索负责把内部资料接进上下文。只有训练、私有化部署与大规模推理才需要另起服务面，所以这几类条目归在同一栏，按上面的顺序看即可。
网关和 Agent 框架是一回事吗？
不是。网关解决「请求怎么送到模型」——统一协议、密钥、配额、路由与降级；Agent 框架解决「模型怎么组织成能干活的程序」——编排、工具调用、记忆与状态。
条目信息取自各项目官方仓库与文档；定位、优势与注意事项为中文归纳，数值不改写，仓库地址、许可证与版本以官方为准。
