Cloudflare 重构 D1 控制平面,支持数百万数据库规模
Cloudflare 近日发表了一篇文章,介绍其如何重新设计无服务器 SQL 数据库 D1 的控制平面,以支持数百万个数据库。此次重构是为避免集中式架构中的性能瓶颈,同时引入重试机制、幂等性保障和最终一致性。 D1 的控制平面架构围绕三种存储系统构建:使用 Postgres 存储事务性元数据,使用 ClickHouse
Cloudflare 最近发文,讲述了对无服务器 SQL 数据库 D1 控制平面的重新设计,目标是撑起数百万个数据库。这次改造是为了绕开集中式架构里的性能瓶颈,同时把重试机制、幂等性保障和最终一致性引了进来。
新的控制平面由三种存储系统搭成:事务性元数据放在 Postgres,分析交给 ClickHouse,全球复制的路由数据则由 Workers KV 承载。查询处理仍留在边缘节点,与集中式管理操作分开;分布式元数据缓存、连接池、异步工作流加上定期健康检查,一起提升可扩展性,也让故障恢复能力更强。
D1 在 2022 年首次发布,是基于 SQLite 构建的无服务器 SQL 数据库,跑在 Cloudflare 全球网络中,尽量贴近应用程序。过去一年,它的每日活跃数据库数量涨了 18 倍。
Cloudflare 采用 30 秒一次的心跳机制,并给每个数据库加上随机时间偏移(jitter),让每个 D1 Durable Object 定期与 Postgres 核对状态。数据库是否存在、账户配额是多少,都以 Postgres 为准。创建或删除操作失败后留下的不一致状态,这套机制能自动修正:孤立的 Durable Object 会被标记为已删除;尽力而为的更新操作失败时,Workers KV 中的路由元数据同样会被修复。
Cloudflare 全栈软件工程师 David Laban 和首席工程师 Lambros Petrou 写道:
心跳机制能容忍数据有轻微延迟,所以相关数据可以走 Hyperdrive 的多层缓存,也可以由 Postgres 只读副本提供。有了这套心跳流程,Durable Object 能自行修正状态,让它反映事实来源(Postgres)中记录的数据库创建和删除情况。
查询请求不会经过集中式 Postgres 数据库:Cloudflare 先把请求从 Edge API Worker 转发到 Eyeball Worker,再直接路由到对应的 D1 Durable Object。
身份认证、授权、速率限制和请求验证由 Edge API Worker 负责;Eyeball Worker 则信任 D1 Bindings 中编码的、针对特定数据库的授权信息,查询路径上就不再重复做权限检查。
Laban 和 Petrou 进一步解释道:
有人可能会问,既然已经有了 Hyperdrive Caching,为什么还要用 Workers KV?原因在于 Workers KV 是持久化数据存储,不只是缓存:某个条目从 KV 的边缘缓存中被逐出后,读取请求会由 KV 自身的存储层来服务,而不是回源到 Postgres,这样 Postgres 就不会进入数据平面。万一发生灾难性的缓存清除事件,数百万个数据库同时去取路由信息,系统就可能出现亚稳态故障(metastable failures)。
D1 的存储配额管理采用异步用量更新:用量更新请求先入队列,再批量处理,避免突发写入给 Postgres 造成过大压力。系统靠增量存储变化量(storage deltas)维护预聚合的账户存储总量,不必对拥有数百万个数据库的账户做成本高昂的全量扫描,写入竞争也少了。Durable Objects 通过 Hyperdrive 的短期缓存查看账户存储总量,并拦下可能让账户超出存储配额的写入操作。
在一篇 Reddit 讨论中,用户 isaackogan 评论道:
这个架构确实令人印象深刻。不过这些性能提升大部分来自它本身:一个运行在进程内、部署于靠近用户的边缘存储上的数据库。剩下的则是围绕它搭起来的编排机制。Cloudflare 能借助其庞大的全球数据中心网络,做到一些传统上小型企业根本做不到的事情。规模经济就在这里发挥作用。
此前一篇热度较高的 Reddit 讨论中,多名 Reddit 用户曾质疑 D1 的可靠性,对它用生产工作负载时的可用性和稳定性表示担忧。
D1 有永久免费套餐:5 GB 总存储空间、每天 500 万行读取额度和每天 10 万行写入额度。超出免费额度后,存储每 GB 每月 0.75 美元;读取每百万行 0.001 美元;写入每百万行 1 美元。计算费用和数据传输费用,D1 都不收。