LLM 显存建模
输入模型、量化格式与上下文长度，计算模型权重、活跃 KV 与可用显存池的细分占用。例如 Llama-3-70B FP8、32,768 上下文、4 并发下，权重 65.7 GB、活跃 KV 20.0 GB、可用显存池 74.3 GB。
价格基础版 ¥0/月，专业版 ¥139/月，高级专业版 ¥429/月
平台Web
归类翻译与语言
收录2025-01-01
复核2026-10-07
编辑评分
4.4 / 5
★★★★☆
ApX Machine Learning编辑总结
ApX Machine Learning（趋近智）是一个面向 LLM 部署的容量规划工具，通过真实硬件基准精度模拟动态 KV 缓存增长、互联瓶颈与并发延迟。平台提供 LLM 计算器，能预测 llama-3-70B 在 2x H100 上的 TTFT、并发拐点与显存溢出边界，并给出账单前的成本估算。基础版永久免费，专业版 ¥139/月，高级专业版 ¥429/月。未公开具体并发仿真上限与多节点拓扑支持的细节。
ApX Machine Learning是什么？
ApX Machine Learning 由趋近智（ApX）开发，定位是面向生产级多 GPU 集群、高并发 SLA 验证与采购决策的容量规划工具。它把 LLM 部署中常见的显存溢出、KV 缓存增长、互联瓶颈与并发延迟突增等问题，在配置算力之前用数学模型提前算清楚。
平台核心是 LLM 计算器，能基于物理硬件基准测试的回归套件，模拟动态 KV 缓存增长、互联瓶颈与并发延迟。列出的模型架构规格覆盖 Llama-3-70B、Mistral-8x7B、Qwen-2.5-72B、Llama-3-8B 等开源模型，并给出各量化格式下的硬件需求。
普通用户可免费使用基础版做单节点评估与本地工作站配置；开发者与工程师能用专业版做生产环境集群规划、多 GPU 互联验证与 SLA 容量规划；团队或采购方可用高级专业版获得更高 API 限额与优先支持。平台还提供精选课程，涵盖构建大语言模型的 30 章大师课及 Transformer、量化、推理系统等工程课程。
ApX Machine Learning核心功能
发拐点预测
模拟并发负载下的 TTFT，给出安全并发拐点与显存不足边界。Llama-3-70B FP8、2x H100、32k 上下文时，4 用户约 4.1s TTFT，安全并发拐点约 6 用户，超过 8 用户显存不足。
吞吐与延迟估算
估算集群聚合吞吐量与单用户吞吐。在 2x H100、4 并发下，估算吞吐量约 39 tok/s/用户，集群聚合吞吐量 156 tok/s；首字延迟约 3.75s，p50 3.75s、p95 3.83s。
互联瓶颈分析
对比张量并行部署中 NVLink 与 PCIe 的吞吐量扩展曲线。缺乏 NVLink 时，卡间通信开销占据主导，张量并行执行因等待 PCIe 总线带宽而停顿，增加 GPU 可能仅增加通信开销。
量化影响验证
区分权重量化与 KV 缓存量化。INT4 仅压缩模型静态权重，KV 缓存默认仍未压缩；KV 缓存量化可降低单用户显存占用，从而支持更大的并发批次大小。如 INT4 将吞吐量饱和的批次大小缩减至四分之一。
模型架构规格
提供开源模型的结构化参数，包括参数量、注意力机制、上下文长度、INT4 下显存占用与运行硬件。例如 Llama-3-70B 参数量 70.6B、GQA、8192 上下文、INT4 下 39.2 GB、需 2x 24GB 硬件。
工程课程
提供构建大语言模型的 30 章大师课，以及 Transformer 架构、注意力机制、权重低比特量化和推理系统等工程课程，覆盖专员级与专业级。
ApX Machine Learning值不值得用？
当你需要在采购 GPU 节点前验证显存容量、并发上限与 SLA 风险时，ApX Machine Learning 值得用。它把 KV 缓存增长、互联瓶颈与并发延迟突增做成可计算的工作点，基础版永久免费，专业版 ¥139/月即可覆盖生产环境集群规划。若你只是跑单机小模型推理、或需要多节点拓扑与生产流量仿真，官网未公开这些能力的支持细节，建议先确认再决定。
建议选它的情况
- 需要在开通 8 卡或 16 卡 GPU 节点前校验精确数据
- 要评估多 GPU 互联验证与 SLA 容量规划
- 希望用免费基础版做单节点评估与本地工作站配置
- 想系统学习 LLM 量化与推理系统架构
不建议选它的情况
- 只需要单机小模型推理，不涉及集群选型
- 需要流水线并行、多节点拓扑或生产流量仿真
- 对价格敏感且需求超出免费单节点评估范围
ApX Machine Learning使用建议
入门先把路子走对
- 先跑一个工作点打开 LLM 计算器，选 Llama-3-70B FP8、2x H100、32k 上下文，输入计划并发用户数，先得到一个基准工作点。
- 对照安全拐点看结果里的安全并发拐点与显存不足边界，例如约 6 用户安全、超过 8 用户显存不足，据此设定初始并发上限。
- 查看准确度报告在计算器里点开准确度报告，了解预测数据与物理基准测试的实测偏差，再决定是否用于采购决策。
进阶省时间也省钱
- 验证量化收益用 INT4 量化对比饱和批次大小，例如官网示例显示 INT4 将吞吐量饱和的批次大小缩减至四分之一，据此提升服务容量。
- 单独评估 KV 缓存权重低比特量化不压缩 KV 缓存。在 32k 或 128k 上下文下，单独验证 KV 缓存量化对并发批次大小的影响。
- 对比互联方案在张量并行部署中对比 NVLink 与 PCIe 的吞吐量扩展曲线，避免增加 GPU 仅增加 All-Reduce 通信延迟。
ApX Machine Learning适合谁用？
AI 基础设施工程师
推荐负责多 GPU 集群选型与容量规划，需要提前算清显存容纳上限与并发极限，避免账单到来前反复试错。
高校与科研人员
推荐称平台广泛应用于全球领先科技公司与高校的科研人员及工程师，适合在集群采购前做基准校验。
LLM 应用开发者
推荐需要评估生产环境集群规划与 SLA 容量，专业版 ¥139/月可覆盖多 GPU 互联验证与并发上限测算。
仅跑单机小模型的个人
有条件基础版永久免费已够单节点评估；若只跑单机小模型，付费档的集群规划能力用不上。
需要多节点生产仿真
有条件仅提示可联系了解流水线并行、多节点拓扑或生产流量仿真，未公开具体支持细节，需先确认。
ApX Machine Learning优点和缺点
优点
- 基础版 ¥0/月永久免费，可做单节点评估
- 给出显存、TTFT、吞吐量与并发拐点的具体数值
- 区分权重量化与 KV 缓存量化对显存的不同影响
- 提供 NVLink 与 PCIe 吞吐量扩展曲线对比
- 覆盖 Llama-3-70B、Mistral-8x7B、Qwen-2.5-72B 等模型规格
缺点
- 高级专业版 ¥429/月，集群规划成本不低
- 官网未公开并发仿真上限与多节点拓扑细节
- 课程与工具分属不同产品线，需分别获取
ApX Machine Learning版本与计费对比
| 方案 | 价格 | 包含内容 | 说明 |
|---|---|---|---|
| 基础版 | ¥0 /月 | 永久免费 | 适用于单节点评估与本地工作站配置。 |
| 专业版 | ¥139 /月 | 按月计费 · 可随时取消 | 适用于生产环境集群规划、多 GPU 互联验证与 SLA 容量规划。 |
| 高级专业版 | ¥429 /月 | 按月计费 · 可随时取消 | 专业版的所有权益，并提供更高的 API 限额和优先支持。 |
以上为公开费率整理，厂商保留调价权利，实际以官方页面为准。
ApX Machine Learning关键指标
ApX Machine Learning常见问题
ApX Machine Learning 免费吗？多少钱？＋
基础版 ¥0/月永久免费，适用于单节点评估与本地工作站配置。专业版 ¥139/月，按月计费、可随时取消，适用于生产环境集群规划、多 GPU 互联验证与 SLA 容量规划。高级专业版 ¥429/月，含专业版所有权益并提供更高 API 限额和优先支持。
它能模拟哪些模型和硬件？＋
包括的模型架构规格覆盖 Llama-3-70B（70.6B、GQA、8192 上下文）、Mistral-8x7B（46.7B 总/12.9B 激活、GQA、32,768 上下文）、Qwen-2.5-72B（72.7B、GQA、131,072 上下文）与 Llama-3-8B（8.0B、GQA、8192 上下文），并给出各量化格式下的硬件需求。
预测数据准确吗？＋
预测数据通过覆盖不同硬件架构、量化格式与并发层级的物理基准测试回归套件进行验证，并透明跟踪并公布所有实测偏差。计算器页面提供「查看完整准确度报告」入口，可核对实测与预测的偏差。
增加 GPU 就一定能提升吞吐量吗？＋
官网明确指出更多 GPU 并不意味着更快速度。跨 PCIe 总线扩展张量并行会引入 All-Reduce 通信延迟，甚至可能抵消新增的算力增益。
INT4 量化能解决 KV 缓存显存问题吗？＋
不能。说明权重低比特量化对 KV 缓存毫无帮助，INT4 仅压缩模型静态权重，KV 缓存默认仍未压缩。在 32k 或 128k 上下文长度下，KV 缓存显存占用会迅速超过权重本身。KV 缓存量化可降低单用户显存占用，从而支持更大的并发批次大小。
ApX Machine Learning最新动态
-
GPU 显存分配基准
基准测试覆盖消费级与数据中心 GPU 在大语言模型训练中的精确显存分配，对比 A100 全权重微调与 RTX 4090 上 4-bit QLoRA 的内存需求。
-
KV 缓存耗尽实测
使用 vLLM 中的 Llama 3.1 8B 进行实证基准测试，说明超出容量会触发抢占停滞，以及 85% 安全拐点如何保护 SLA。
-
Claude 工具搜索过滤
解析 Claude Desktop 与 Claude Code 工具搜索过滤机制的工作原理。
