很多人第一次接触 AI 基建，脑子里是这样一幅图：一块很贵的芯片，插在一台很贵的机器上，放进一个很大的房间里。图没错，但缺了中间那几层——卡、整机、机柜、供电散热、网络、机房，每一层都可能成为瓶颈，也各自对应不同的花钱方式和排查顺序。这篇不堆参数，只帮你把这几层的从属关系和责任边界理清楚，让你在租卡、看报价、听人聊「数据中心」的时候知道自己到底在看什么。
很多人第一次接触 AI 基建，脑子里只有一幅画：一块很贵的芯片，插在一台很贵的机器上，放进一个很大的房间里。画没错，但中间少了几层——卡、整机、机柜、供电散热、网络、机房。每一层都可能成为瓶颈，也各自对应不同的花钱方式和排查顺序。
这篇不堆参数，目标是让你在租卡、看报价、听人聊「数据中心」的时候，知道自己到底在看哪一层，以及出了问题该先怀疑谁。先说结论：机房不产生算力，它决定算力能不能稳定交付；芯片不是独立存在的，它总要通过整机这一层才能对外服务。
先把三层分开看：芯片、整机、机房
- 芯片层
- 解决一次能算多快、能装多少显存，是算力最底层的度量对象
- 整机层
- 把若干张卡和 CPU、内存、网卡组装成一台能对外服务的机器，卡间互联方式直接影响多卡效率
- 机房层
- 提供电、冷、网络和物理安全，本身不产生算力，但决定算力能不能持续交付
怎么判断该关注哪一层？只调 API 的话三层都不用管；自建推理服务通常从整机层看起，因为你买的是能跑起来的一台机器；只有真的要放机器或整柜托管，才需要认真比较机房条件，比如供电容量、散热方式和网络出口。
- 只调 API：三层都交给别人，你只需要关心接口稳定性和调用量
- 自建推理：重点看整机层，芯片型号只在显存和功耗上间接影响你
- 租卡实验：关注实例规格和可用性，不必深究机房
- 托管或整柜：三层都要看，机房条件往往是最难改的一环
- 另一种不适用的情况：任务只是偶尔跑几个批处理请求，芯片型号和机房等级对成本的影响远小于调用量和上下文长度
从一张卡到一柜机器：中间会卡在哪
真实部署里，卡不是插上就能跑满的。从一张卡到一柜机器，中间有几道常见的墙，按出现频率排，基本是显存、互联、供电散热这三道。
- 先过显存这道墙模型权重、上下文缓存、并发请求都要占显存。算力再强，显存塞不下也跑不起来，所以选卡先看显存口径，再看算力口径。验证方法：把权重和单请求缓存估算出来，再乘上你打算支持的并发数，看有没有余量。
- 再看互联这道墙多卡并行时，卡间通信慢会把算力空转掉。机内多卡和跨机多卡表现不一样，跨机还要看网络。验证方法：先单卡跑基线，加卡后看吞吐有没有按比例上去，没上去就先查互联和数据加载。
- 最后看供电散热这道墙高功耗卡对单机柜的供电容量和散热方式有要求。在自有场地里，这往往比买卡本身更难解决。验证方法：确认机柜供电上限和散热方案能不能覆盖整柜满载，别等机器到了才发现插不下。
租卡、托管、还是只买 API：三条路的判断口径
三条路没有绝对优劣，只有适不适合。判断的核心不是你多有钱，而是「负载形态 + 数据要求 + 有没有人接运维」这三件事的组合。
| 路线 | 适合什么情况 | 主要代价 | 什么时候不适用 |
|---|---|---|---|
| 只买 API | 需求波动大、不想管运维 | 单价里含了别人的运维和机房成本 | 需要长期占着机器、调用量稳定且大 |
| 租卡或租实例 | 做实验、微调、短期密集任务 | 按量计费，长期跑不一定便宜 | 数据不能出内网、需要固定硬件配置 |
| 托管或自建 | 利用率高、任务长期稳定、有人能运维 | 电、冷、带宽、备件、人力都要算进去 | 没有运维人接故障、合规不允许数据出内网 |
- 看报价前先到 /price-watch 核对当时的口径，各家计费单位和可用性政策差别很大，页面上的数字才是当下的
- 总成本不只机器钱：托管或自建要把电、冷、带宽、故障备件和人力摊进去
- 利用率是分水岭：长期空转的机器，租永远比买划算
- 合规和部署位置可以一票否决成本比较：数据不能出内网时，先满足位置要求再谈省钱
- 拿不准就先租一段时间，用真实负载跑一轮再决定要不要自建
入门者的自检清单：五个问题问完再动手
- 问题一：显存够不够算清模型权重加运行时大概要多少显存，并发余量留没留。算不清就先按单请求估，再往上加。
- 问题二：推理还是训练两者对显存、互联、稳定性的要求完全不同。训练对互联和稳定性更敏感，推理更看单卡显存和吞吐。
- 问题三：负载是持续还是脉冲脉冲负载租比买划算的概率更高，持续稳定负载才轮到自建出场。
- 问题四：机器放在哪数据能不能出内网，有没有合规或备案要求。这一条通常能直接排除掉一部分选项。
- 问题五：谁来运维断电、掉卡、驱动升级这些事有没有人接。没人接就别自建，租或走 API 更省心。
把这五个问题的答案并排写下来，多数情况下路线会自动浮现：高频加数据敏感加有人运维才偏向自建，其余组合偏向租用或直接走 API。想对照具体规格和报价，可以到 /tools/speed-test 看延迟口径，再到 /sites 看各家当前提供的实例类型，数字以页面当时显示的为准。
下一步先把自己的五个问题答案写下来，再去站内核对当下的实例规格和计费口径，比先看广告词有用得多。→常见问题
算力和芯片是一回事吗？
不是。芯片是硬件，算力是对这批硬件在单位时间内能完成多少计算的一种度量说法。同一块芯片在不同精度、不同模型、不同批大小下，实测出来的算力差别很大，所以看规格表只能当上限参考，真正用起来要按自己的任务量一遍。
我只调 API，需要懂数据中心吗？
大部分情况不需要。但如果你关心延迟波动、可用性承诺、或者供应商说「机房级别冗余」，那就需要能分辨它说的是供电冗余、网络冗余还是机器冗余，这三件事对应的风险不一样。想了解各家的服务状态可以看站内监控页。
为什么别人说卡租不到，是不是被卡脖子了？
更多时候是短期供需和机型结构问题，不是单一原因。热门型号的档期、整机配置、机房余量都会影响可得性。判断办法是同时看几家平台的当前库存和租金走势，而不是听单一渠道的说法。
