AI 工程
TECH STACK开发技术栈把模型接进应用：统一接入与网关、Agent 编排与记忆、工具与 MCP、检索增强，以及把模型跑起来和微调。
收录条目
160 条
按用途筛选，同类才可比
先按分类把范围缩到一类：模型接入与网关、Agent 编排、记忆与上下文、工具与 MCP、检索与 RAG、推理与微调；同一类里再比形态与许可证。
分类
6 个
按用途分组
适用场景
技术选型
先定位，再比同类
数据日期
2026-10-27
核对到这一天
口径边界
只比同类
跨类不横向比
筛选与排序
显示 160 / 160 条AI 工程对照表
第 5 / 6 页 · 共 160 条| 名称 | 分类 | 形态 | 一句话定位 | 亮点 / 热度 | 许可证 | 详情 |
|---|---|---|---|---|---|---|
| Trafilatura Adrien Barbaresi · 网页采集 | 检索与 RAG | 正文抽取库 / CLI | 从网页里只留下正文的抽取工具 | 专注正文与元数据抽取：先按 DOM 结构给节点打分，剔除导航、广告和评论，再还原段落… | Apache-2.0 | 查看详情 |
| Unstructured Unstructured · 文档解析 | 检索与 RAG | 解析库 / 托管 API | 把几十种文档格式统一拆成带类型的结构化元素 | 把文档切成 Title、NarrativeText、Table 这类带类型的元素，并… | Apache-2.0 | 查看详情 |
| Anthropic Fine-Tuning (AWS Bedrock) Anthropic · first-party | 推理与微调 | 微调服务 | Effectively closed. Bedrock's fine-tuning table lists Claude 3 H… | lora | — | 查看详情 |
| AWS Bedrock Fine-Tuning Amazon Web Services · hosted | 推理与微调 | 微调服务 | Nova is now the center of Bedrock customization, and on-demand s… | lora、rlhf、continued-pretraining | — | 查看详情 |
| BentoML BentoML · 推理服务与部署 | 推理与微调 | 模型服务框架 | 把模型封装成在线服务的框架 | 用 Python 类声明服务与接口，自动生成镜像与依赖环境；支持批处理、流式与多模型… | Apache-2.0 | 查看详情 |
| bitsandbytes bitsandbytes 基金会 · 推理服务与部署 | 推理与微调 | 量化计算库 | 把模型权重压到 8 位或 4 位的量化库 | 提供 8 位与 4 位线性层的即插即用实现，换几行代码就能把模型塞进更小的显存；兼容… | MIT | 查看详情 |
| ExLlamaV3 turboderp · 硬件与编译优化 | 推理与微调 | 本地量化推理库 | 面向消费级显卡的量化与推理库 | 从内核到量化格式都为单卡或双卡消费级 GPU 设计，自研的 EXL 系列量化在 4b… | MIT | 查看详情 |
| Fireworks Fine-Tuning Fireworks AI · hosted | 推理与微调 | 微调服务 | Clear size-tiered pricing and no serving markup on tuned models… | lora、full、dpo | — | 查看详情 |
| Google Vertex AI Fine-Tuning Google · first-party | 推理与微调 | 微调服务 | Now branded Gemini Enterprise Agent Platform. PaLM 2 and Codey t… | lora、dpo、rlhf | — | 查看详情 |
| Hugging Face AutoTrain Hugging Face · hosted | 推理与微调 | 微调服务 | Hugging Face now marks AutoTrain as no longer maintained, with n… | lora、full、dpo | — | 查看详情 |
| KServe KServe 社区 · 推理服务与部署 | 推理与微调 | Kubernetes 模型服务层 | 集群里的标准模型服务层 | 用自定义资源声明推理服务，扩缩容、灰度发布与流量切分交给集群原生能力；支持多框架运行… | Apache-2.0 | 查看详情 |
| KTransformers kvcache-ai 团队 · 硬件与编译优化 | 推理与微调 | 异构推理框架 | CPU+GPU 异构计算，让单机跑动超大 MoE 模型 | 把 MoE 的专家权重放在内存与 SSD，注意力层和热专家留在 GPU，通过算子级优… | Apache-2.0 | 查看详情 |
| llama.cpp ggml 社区 · 本地与端侧运行 | 推理与微调 | 本地推理引擎 | 纯 C/C++ 的本地推理引擎，覆盖 CPU 与多种加速后端 | 不依赖 Python 与深度学习框架，用 C/C++ 加 ggml 张量库实现，同一… | MIT | 查看详情 |
| llm-d llm-d 社区 · 推理服务与部署 | 推理与微调 | 分布式推理调度层 | 集群上的大模型推理调度层 | 把推理实例拆成调度、路由与缓存几层，在集群上按负载自动扩缩并做前缀与会话感知路由；兼… | Apache-2.0 | 查看详情 |
| LM Studio Element Labs · 推理服务与部署 | 推理与微调 | 本地模型桌面客户端 | 图形界面的本地模型工作台 | 在界面里搜模型、下载、起本地服务一步完成，自带兼容接口供其他工具调用；按本机显存自动… | 专有（免费使用） | 查看详情 |
| LMCache LMCache 社区 · 分布式与多机部署 | 推理与微调 | KV 缓存层 | 跨实例复用的 KV 缓存层，为推理服务加共享前缀缓存 | 把 KV 缓存从单进程显存里抽出来，存到 CPU 内存、本地盘或远端存储，并在多个推… | Apache-2.0 | 查看详情 |
| LMDeploy InternLM 团队 · 通用推理服务 | 推理与微调 | 推理服务工具链 | 面向主流开源模型的压缩、部署与服务工具链 | 自带 TurboMind 引擎与 W4A16 量化：权重 4bit、激活 16bit… | Apache-2.0 | 查看详情 |
| LocalAI LocalAI 社区 · 通用推理服务 | 推理与微调 | 自托管模型服务 | 自托管的多后端模型服务，一个 OpenAI 兼容入口跑多种模态 | 把 llama.cpp、vLLM、transformers、diffusers 等后… | MIT | 查看详情 |
| Mistral Fine-Tuning Mistral · first-party | 推理与微调 | 微调服务 | Mistral now files its fine-tuning API under deprecated features… | lora、full | — | 查看详情 |
| MLC LLM MLC AI 社区 · 硬件与编译优化 | 推理与微调 | 编译式部署引擎 | 用机器学习编译把模型部署到多种硬件的通用引擎 | 走编译路线：把模型与量化方案编译成针对目标硬件（CUDA、Metal、Vulkan、… | Apache-2.0 | 查看详情 |
| MLX-LM Apple（ml-explore） · 本地与端侧运行 | 推理与微调 | Mac 本地推理框架 | 在 Apple 芯片上原生运行与微调大模型的框架 | 基于 Apple 的 MLX 数组框架，统一内存架构下 CPU 与 GPU 共享内存… | MIT | 查看详情 |
| Modal Labs (DIY) Modal · hosted | 推理与微调 | 微调服务 | BYO fine-tuning infra. You own the code; Modal owns the GPU sche… | lora、qlora、full | — | 查看详情 |
| NVIDIA Dynamo NVIDIA · 分布式与多机部署 | 推理与微调 | 数据中心推理框架 | 数据中心级分布式推理服务框架，主打解耦式服务 | 把推理拆成规划、路由与 KV 缓存搬运三层：前置路由器按负载与缓存命中把请求分给不同… | Apache-2.0 | 查看详情 |
| Ollama Ollama · 本地与端侧运行 | 推理与微调 | 本地模型运行时 | 把本地模型的下载、运行与 API 化收敛成一条命令 | 用 Modelfile 描述模型与参数，一条命令完成拉取、量化版本选择与运行，并自动… | MIT | 查看详情 |
| OpenAI Fine-Tuning OpenAI · first-party | 推理与微调 | 微调服务 | OpenAI is winding the platform down. New organizations lost acce… | full、dpo、rlhf | — | 查看详情 |
| OpenPipe (CoreWeave) CoreWeave · hosted | 推理与微调 | 微调服务 | CoreWeave agreed to acquire OpenPipe in September 2025. OpenPipe… | lora、rlhf | — | 查看详情 |
| OpenVINO Model Server Intel · 硬件与编译优化 | 推理与微调 | 通用推理服务器 | 面向 OpenVINO 优化模型的推理服务器，含大模型服务能力 | 以 OpenVINO 的图编译与量化为基础，在 Intel CPU、核显与 Arc… | Apache-2.0 | 查看详情 |
| Outlines dottxt · 推理服务与部署 | 推理与微调 | 受约束解码库 | 在解码阶段约束输出格式 | 把 JSON Schema、正则和可选值编译成解码约束，生成时只允许合法词元，输出天… | Apache-2.0 | 查看详情 |
| PowerInfer Tiiny AI · 本地与端侧运行 | 推理与微调 | 本地推理引擎 | 利用激活局部性在消费级显卡上加速本地推理 | 核心观察是大模型推理的激活具有局部性：少数热神经元承担大部分计算。它据此把热神经元放… | MIT | 查看详情 |
| Predibase (Rubrik) Rubrik · hosted | 推理与微调 | 微调服务 | Rubrik agreed to acquire Predibase in June 2025, and predibase.c… | lora、qlora、full | — | 查看详情 |
数据说明
收录规模160 个条目分 6 类，同类之间才可比
资料口径各项目官方文档与代码仓库以官方文档与仓库为准，只做中文整理
数据日期2026-10-27核对到这一天，官方改动以官方为准
口径边界只比同类跨类场景不同，不可直接比价与打分
常见问题
AI 能力要接进现有系统，还是单独搭一套？
绝大多数情况是接进现有系统：网关统一多模型接入与配额，框架负责编排与工具调用，检索负责把内部资料接进上下文。只有训练、私有化部署与大规模推理才需要另起服务面，所以这几类条目归在同一栏，按上面的顺序看即可。
网关和 Agent 框架是一回事吗？
不是。网关解决「请求怎么送到模型」——统一协议、密钥、配额、路由与降级；Agent 框架解决「模型怎么组织成能干活的程序」——编排、工具调用、记忆与状态。
条目信息取自各项目官方仓库与文档；定位、优势与注意事项为中文归纳，数值不改写，仓库地址、许可证与版本以官方为准。
