网关透明转发
Milk Parlor 把请求转发给配置好的模型并把答案流式返回，应用侧保持原有调用不变，只改 URL 和 key。
官方说明 ↗
Milk Infrastructure
AI TOOL PROFILE工具资料不改一行代码，把你的 OpenAI 调用变成可训练的数据。
价格付费
平台—
归类AI 智能体
收录2026-10-12
复核2026-10-12
编辑评分
4.1 / 5
★★★★☆
Milk Infrastructure编辑总结
Milk Infrastructure 是一套面向开发者的 AI 基础设施。它由两个程序组成：网关 Milk Parlor 和智能体 Milk Man。Parlor 用 Rust 写成，把请求转发给模型并把合格的请求–响应对悄悄存进本地或 S3 兼容存储，调用方式就是 OpenAI 官方 SDK，只换 URL 和 key。Milk Man 从 Bash 运行，可以接受目标去跑命令、启动云模型、测量结果并保存经验。它的处理链分五步：收集、理解、造训练样本、训练对比、审核路由。首个训练基座是 Qwen3.5-0.8B。开发本身不保证模型一定变好，但它把实验和结果包括失败都留档。
Milk Infrastructure是什么？
Milk Infrastructure 是一套帮你把线上模型调用转成训练素材的基础设施。它不提供模型，而是让已有的 OpenAI 调用在正常返回答案的同时，把合格的请求与回答成对存下来，再用这些数据去做实验和训练。
系统由两个程序组成。Milk Parlor 是 Rust 写的网关，负责鉴权、转发、流式返回，并在不拖慢答案的前提下把选定的完整请求–响应对写入本地或 S3 兼容存储。Milk Man 是智能体，从 Bash 运行，带一个可选的本地面板，通过环境变量选择模型、存储和云资源。
连接现有应用时没有专属 SDK，直接用官方 OpenAI 包，把 base URL 指向 parlor.milkinfrastructure.com/v1，把 key 换成网关运营方签发的 Milk key 即可。它支持 POST /v1/responses 和 POST /v1/chat/completions 两类调用，包含流式，但不对 OpenAI API 的其他部分作承诺。开发者可以本地运行 Milk Man，而数据和算力留在云端。
Milk Infrastructure核心功能
后台保存对话
请求完成后，Parlor 把完整的请求与响应两侧写入本地或 S3 兼容存储，且不会因此拖慢答案的返回。
官方说明 ↗智能体执行任务
Milk Man 接受一个目标后自己运行命令、启动云模型、测量结果并保存学到的东西，关掉面板也不会停。
官方说明 ↗自动摘要节点
按配置的交换数节点（示例为 100、1,000、10,000、100,000），一个作业读取新数据与上一次摘要并保存结果。
官方说明 ↗生成训练样本
由教师模型根据真实流量写出新任务，训练任务与用于评判提升的任务分开保存，避免教材和考题混在一起。
官方说明 ↗训练与对比
训练开放模型、调整运行方式，并在同一批任务上对比答案、速度和成本。Qwen3.5-0.8B 是第一个训练基座。
官方说明 ↗人工签核路由
Milk Man 可以为一个新模型准备流量规则，但必须由运营人员审核并签署后，客户流量才会切过去。
官方说明 ↗Milk Infrastructure值不值得用？
如果你的应用已经在用官方 OpenAI SDK，而你想把每天真实产生的请求和回答变成可训练的实验数据，Milk Infrastructure 的接入成本很低——换 URL 和 key 就行，Parlor 在后台存数据不拖慢回答。它在存储和算力上是灵活的，本地文件或 S3 兼容存储、托管推理 API、自有 Baseten 或 Modal GPU 都能选，模型文件单独缓存。但要注意：它不保证模型一定变好，速度提升和答案变好是两回事；训练基座目前是 Qwen3.5-0.8B；GPU 和存储凭据需要你自己配置和维护。
建议选它的情况
- 已经在用官方 OpenAI SDK、希望零改动接入数据留存的应用
- 想用真实流量做开放模型训练和对照实验的团队
- 需要在本地跑智能体、数据和算力留在云端的开发者
不建议选它的情况
- 期待接入后模型自动变好、不需要自己设计对比任务的人
- 不想自己维护 GPU、存储和凭据配置的小白用户
- 需要 OpenAI API 全量接口兼容的应用
Milk Infrastructure使用建议
入门先把路子走对
- 先只换两个变量把现有代码的 base URL 指向 parlor.milkinfrastructure.com/v1，key 换成网关运营方签发的 Milk key，调用行本身不用动。
- 装好本地依赖Milk Parlor 需要 Rust，Milk Man 需要 Bash、Python 3、Git 和 curl，处理已捕获记录还需要 zstd。
- 从网关 README 起步设置 Milk key 列表、模型 URL 与 key、路由公钥和存储值，README 里有一份完整的本地设置示例。
进阶省时间也省钱
- 定好摘要节点用 MILK_SUMMARY_THRESHOLDS 设置交换数节点。示例为 100、1,000、10,000、100,000，节点太密会浪费作业，太疏则反馈太慢。
- 分清训练与评判教师模型造出的训练任务要和评判用的任务分开保存，否则对比结果会失真。
- 密钥不要外露你自己的 Milk Man 作业使用本地配置的提供方与存储凭据，不要把密钥放进聊天、截图或 Git。
Milk Infrastructure适合谁用？
后端与平台工程师
推荐手上跑着 OpenAI 调用、想顺手积累训练数据，改 URL 和 key 就能接入，几乎不增加改动成本。
做模型微调的团队
推荐需要真实流量和对照实验来验证训练是否有效，Milk 会把实验和结果包括失败一起留档。
对模型升级有预期的产品方
有条件把数据整理流程交给 Milk 能省人力，但官网明确说不保证模型变好，预期要放在实验管理上。
想一键解决效果问题的业务方
不推荐它管的是数据收集、训练与对比，不替你做取舍，也不承诺任何统一排名。
Milk Infrastructure优点和缺点
优点
- 接入只需改 URL 和 key，保留官方 OpenAI SDK 和已有调用
- Parlor 后台存请求–响应对，不拖慢答案返回
- 存储可选本地或 S3 兼容，模型文件与运行时镜像分开缓存
- 智能体可本地运行，数据与算力留在云端
- 新模型上流量前必须人工审核并签署
缺点
- 不保证模型一定变好，速度提升与答案质量是两种测量
- 训练基座目前只有 Qwen3.5-0.8B
- 只支持 /v1/responses 与 /v1/chat/completions，不对 OpenAI API 其余部分作承诺
- GPU 与存储凭据需要你自己配置和维护
Milk Infrastructure常见问题
要不要改我现在的调用代码？＋
基本不用。保留官方 OpenAI 包，把 base URL 指向 parlor.milkinfrastructure.com/v1，把 key 换成网关运营方签发的 Milk key，应用调用行保持不变。支持 POST /v1/responses 和 POST /v1/chat/completions，包含流式。
它保存哪些数据，什么时候存？＋
Parlor 只保存选定的完整请求与响应对，在请求完成后写入本地或 S3 兼容存储，相关交换会按任务分组。保存不会拖慢答案返回，摘要则在配置的交换数节点上触发。
数据和模型放在哪里？＋
环境变量决定用本地文件还是 S3 兼容存储、用托管推理 API 还是自有 Baseten 或 Modal GPU。模型文件与运行时镜像分开缓存，Milk Man 可以本地运行而数据与算力留在云端。
新模型会自动切到线上吗？＋
不会。Milk Man 可能为一个新模型准备流量规则，但必须由运营人员审核并签署，客户流量才会切过去。这个签核环节是流程的一部分，不是可选项。
它用的第一个训练基座是什么？＋
Qwen3.5-0.8B 是第一个训练基座。训练流程包括训练开放模型、调整运行方式，并在同一批任务上对比答案、速度和成本。
用了它模型就会更好吗？＋
不保证。它会保留实验和结果，包括失败；速度改进和更好的答案是两回事。目标是在你自己的任务上打败选定的基线，而不是给出一个通用排名。
