开会时有人说「先把基础设施搭起来」,你追问是算力那层还是数据那层,对方往往答不上来。这两件事预算来源不同、交付周期不同、出问题时背锅的人也不同。这篇给一张对照表和一套判断顺序,帮你分清该租卡、该买存储,还是两个都得动。
开会时有人说「先把基础设施搭起来」,你追问是算力那层还是数据那层,对方往往答不上来。这两件事预算来源不同、交付周期不同、出问题时背锅的人也不同。这篇给一张对照表和一套判断顺序,帮你分清该租卡、该买存储,还是两个都得动。
先把结论摆在这儿:算力基础设施买的是「单位时间能算多少」,数据基础设施买的是「数据能不能被安全、稳定地取用」。前者像电力,后者像仓库和物流。分不清就会出两种典型事故——拿吞吐指标去验收数据平台,或者用数据团队的排期去规划推理资源。
先把两个词的定义掰开
- 算力基础设施
- 把模型跑起来的那一层:加速卡、CPU、内存、互联网络、调度与推理服务框架,交付物是每秒能算多少次、并发能扛多少
- 数据基础设施
- 让数据可用的那一层:存储、采集与同步管道、清洗与标注、向量库、权限与血缘,交付物是数据找得到、对得上、拿得走
- 验收口径
- 前者看吞吐、延迟、可用率;后者看完整性、一致性、可追溯性
- 算力侧的验收指标是性能类:吞吐、首字延迟、并发上限、可用率、单位成本;
- 数据侧的验收指标是质量类:覆盖率、字段准确率、更新时效、血缘完整度;
- 两者混用会翻车:用「每秒处理多少条」去验收数据平台,团队只会往管道里灌没清洗的数据;
- 常见混淆点:向量数据库常被塞进算力清单,但它本质是数据侧的检索组件,跟着数据的生命周期走,不跟着卡的换代走。
组成对照:谁包含谁,边界在哪
| 维度 | 算力基础设施 | 数据基础设施 |
|---|---|---|
| 典型组成 | 卡与整机、集群组网、虚拟化与配额、推理引擎与调度、监控与计费计量 | 对象存储与湖仓、采集同步、清洗与脱敏、标注与版本管理、向量与检索、元数据与血缘 |
| 交付形态 | 资源池或托管服务,按规格与时长租用 | 平台加管道,按项目和数据集长期持有 |
| 扩容触发 | 并发上来、延迟不达标、任务排队 | 数据量增长、数据源增加、合规要求变化 |
| 负责人 | 平台或运维团队 | 数据工程或数据治理团队 |
| 主要风险 | 资源闲置、规格选错、租买失衡 | 口径不一致、权限失控、成本随数据无声增长 |
交界处有三个组件最容易扯皮:高速存储到底算算力还是数据、特征与向量由谁来写、谁负责给模型服务开数据权限。建议在架构会上直接把这三点写进会议纪要,指定归属,不要靠默认默契。规格与租用口径怎么分,可以到 /compute 核对当时的选项。
- 高速存储:贴在算力节点上的本地盘算算力,跨任务共享的持久化存储算数据;
- 特征与向量:写入和版本管理归数据侧,读取和缓存归算力侧;
- 权限:数据侧定义谁能访问哪张表,算力侧只能申请不能自授权;
- 词汇不确定的,先到 /ai-dict/category/infra 对照一遍再讨论,避免各说各话。
落地场景:什么情况下只需要其中一层
很多团队不是两层都要建,而是被「基础设施」这个词吓到了。按下面四种场景对号入座,能省掉一大半无效讨论。注意每种场景都有不适用的前提,写清楚了再往下走。
- 只调外部接口做应用两层都不需要自建,你真正要管的是密钥、额度、调用日志和失败重试。四条接入路径的差别可以看 /four-access-routes,确认自己走的是哪条。
- 自建推理但不做训练重心在算力层,按并发和延迟选规格,数据层一个对象存储加一套同步脚本通常就够。不适用情形:语料含敏感内容、需要长期留存审计的,数据层要单独评估。
- 做知识问答或检索增强数据层是主战场,算力可以按量租甚至走托管。重点放在文档解析、切片策略、检索质量和权限隔离上。不适用情形:同时要频繁重跑大模型的,算力侧的排队时间会成为瓶颈。
- 自己微调或训练两层都要动,且数据层的清洗与版本管理往往是真正的工期瓶颈。先按 /compute/sizing 估算力规模,再回过头估数据准备需要几个人、几周。
决策清单:预算会上按这 5 步过一遍
- 第一步问交付物:这次要的是「能跑起来」还是「能查得到」,答案决定预算先花在哪一层;
- 第二步列不可替代项:卡能不能租到看 /compute/availability,而数据能不能出公司通常没有替代方案;
- 第三步算长期账:算力有租与买的分岔,见 /compute/tco;数据层主要是人力与存储的长期持有成本;
- 第四步定验收指标:算力写吞吐、延迟、可用率,数据写覆盖率、准确率、血缘完整度,两边分开签字;
- 第五步写清不适用情形:如果只是几个人试用一个模型接口,两层都不必自建,先看 /four-access-routes 再谈架构。
| 先问的问题 | 答算力 | 答数据 |
|---|---|---|
| 这次交付物是什么 | 能跑起来、能扛住并发 | 能查到、能对上、能追溯 |
| 钱先花在哪 | 资源规格与调度 | 管道与治理人力 |
| 谁来验收 | 平台或运维负责人 | 数据负责人 |
| 失败长什么样 | 排队、超时、掉线 | 找不到、对不上、越权 |
算力和数据不是同一张预算表上的两行,它们连验收签字的人都不是同一个。下一步带着这张对照表去开下一个架构会:会前把两层的交付物和验收人各自写一行,会上就不会再出现「先把基础设施搭起来」这种没法落地的说法。需要看当时的规格、租赁口径和迁移成本,到 /compute 和相关子页核对数字。→
常见问题
我们公司要上大模型,到底先建哪一层?
看你要干什么。只是调接口做应用,先别建。自建推理但用公开语料,先解决算力:卡、组网、推理服务。做企业知识问答或微调,先解决数据:文档在哪、怎么清洗、谁能看。两层都动的时候,通常数据层是工期瓶颈。具体的规格与租用口径到 /compute 核对当时的数字。
向量数据库算算力还是算数据?
偏数据侧。它的生命周期跟着文档更新走,选型关注的是检索质量、维度支持和权限,而不是卡型。只有当你把它和推理服务部署在同一批机器上,才需要跟算力侧一起谈资源配额。选型目录在 /stacks/vector-dbs。
预算有限时哪一层可以先用托管?
算力层更容易先用托管:按量租卡、按小时结,不占用固定资产。数据层相对难外包,因为涉及数据出境、合规和权限,一旦托管就要走安全评估。不过如果只是公开数据做实验,两层都可以先托管,等用量稳定再考虑自建。价格口径在 /compute/price-index。