Cloudflare 重构 D1 控制平面,支持数百万数据库规模

资讯 AI 行业观察 作者:Renato Losio 全文 1887 字 · 约 5 分钟读完 配图 3 张 分类Cloudflare存储

Cloudflare 近日发表了一篇文章,介绍其如何重新设计无服务器 SQL 数据库 D1 的控制平面,以支持数百万个数据库。此次重构是为避免集中式架构中的性能瓶颈,同时引入重试机制、幂等性保障和最终一致性。 D1 的控制平面架构围绕三种存储系统构建:使用 Postgres 存储事务性元数据,使用 ClickHouse

所属频道 算力与芯片

Cloudflare 最近发文,讲述了对无服务器 SQL 数据库 D1 控制平面的重新设计,目标是撑起数百万个数据库。这次改造是为了绕开集中式架构里的性能瓶颈,同时把重试机制、幂等性保障和最终一致性引了进来。

新的控制平面由三种存储系统搭成:事务性元数据放在 Postgres,分析交给 ClickHouse,全球复制的路由数据则由 Workers KV 承载。查询处理仍留在边缘节点,与集中式管理操作分开;分布式元数据缓存、连接池、异步工作流加上定期健康检查,一起提升可扩展性,也让故障恢复能力更强。

D1 在 2022 年首次发布,是基于 SQLite 构建的无服务器 SQL 数据库,跑在 Cloudflare 全球网络中,尽量贴近应用程序。过去一年,它的每日活跃数据库数量涨了 18 倍。

Cloudflare 重构 D1 控制平面,支持数百万数据库规模(配图 1)

Cloudflare 采用 30 秒一次的心跳机制,并给每个数据库加上随机时间偏移(jitter),让每个 D1 Durable Object 定期与 Postgres 核对状态。数据库是否存在、账户配额是多少,都以 Postgres 为准。创建或删除操作失败后留下的不一致状态,这套机制能自动修正:孤立的 Durable Object 会被标记为已删除;尽力而为的更新操作失败时,Workers KV 中的路由元数据同样会被修复。

Cloudflare 全栈软件工程师 David Laban 和首席工程师 Lambros Petrou 写道:

心跳机制能容忍数据有轻微延迟,所以相关数据可以走 Hyperdrive 的多层缓存,也可以由 Postgres 只读副本提供。有了这套心跳流程,Durable Object 能自行修正状态,让它反映事实来源(Postgres)中记录的数据库创建和删除情况。

查询请求不会经过集中式 Postgres 数据库:Cloudflare 先把请求从 Edge API Worker 转发到 Eyeball Worker,再直接路由到对应的 D1 Durable Object。

Cloudflare 重构 D1 控制平面,支持数百万数据库规模(配图 2)

身份认证、授权、速率限制和请求验证由 Edge API Worker 负责;Eyeball Worker 则信任 D1 Bindings 中编码的、针对特定数据库的授权信息,查询路径上就不再重复做权限检查。

Laban 和 Petrou 进一步解释道:

有人可能会问,既然已经有了 Hyperdrive Caching,为什么还要用 Workers KV?原因在于 Workers KV 是持久化数据存储,不只是缓存:某个条目从 KV 的边缘缓存中被逐出后,读取请求会由 KV 自身的存储层来服务,而不是回源到 Postgres,这样 Postgres 就不会进入数据平面。万一发生灾难性的缓存清除事件,数百万个数据库同时去取路由信息,系统就可能出现亚稳态故障(metastable failures)。

D1 的存储配额管理采用异步用量更新:用量更新请求先入队列,再批量处理,避免突发写入给 Postgres 造成过大压力。系统靠增量存储变化量(storage deltas)维护预聚合的账户存储总量,不必对拥有数百万个数据库的账户做成本高昂的全量扫描,写入竞争也少了。Durable Objects 通过 Hyperdrive 的短期缓存查看账户存储总量,并拦下可能让账户超出存储配额的写入操作。

在一篇 Reddit 讨论中,用户 isaackogan 评论道:

这个架构确实令人印象深刻。不过这些性能提升大部分来自它本身:一个运行在进程内、部署于靠近用户的边缘存储上的数据库。剩下的则是围绕它搭起来的编排机制。Cloudflare 能借助其庞大的全球数据中心网络,做到一些传统上小型企业根本做不到的事情。规模经济就在这里发挥作用。

此前一篇热度较高的 Reddit 讨论中,多名 Reddit 用户曾质疑 D1 的可靠性,对它用生产工作负载时的可用性和稳定性表示担忧。

D1 有永久免费套餐:5 GB 总存储空间、每天 500 万行读取额度和每天 10 万行写入额度。超出免费额度后,存储每 GB 每月 0.75 美元;读取每百万行 0.001 美元;写入每百万行 1 美元。计算费用和数据传输费用,D1 都不收。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 内存涨价传导至手机供应链:二手拆机内存价格打5折

    【TechWeb】持续上涨的内存价格,正在悄悄改变手机行业的供应链格局。据数码博主透露,内存厂商预计2027年内存价格仍将持续上涨,这轮涨价行情可能延续至2028年上半年,直到下半年才逐步进入平稳期。而为了应对成本压力,部分小品牌和山寨手机厂商已经开始在百元机、千元机上使用拆机二手内存——更值得关注的是,2027年部.

    来源 腾讯网
  2. 美光:2027年供需比2026年更紧,75%产能已预售

    财联社11月20日讯(编辑 黄君芝)人工智能(AI)需求持续扩张,但存储芯片供给跟不上增长节奏。美光科技高管近期接连表示,供给短缺短期内难以缓解,2027年、2028年的供需失衡局面或将比2026年更为严峻。美光科技总裁兼首席技术与产品官Scott DeBoer在接受采访时表示,内存芯片的供需在很长一段时间内都无法达到

    来源 腾讯网
  3. 苹果拟与三星签四至五年DRAM长约:2027年生效,锁定最低采购量

    11月18日报道,受人工智能算力基础设施需求激增引发的芯片供应紧张影响, 苹果公司 拟与三星电子达成一项罕见的四至五年期DRAM内存供应协议,于2027年上半年生效并延续至2031或2032年,以锁定最低采购量、保障未来 iPhone 与 MacBook 等终端产能。 长期以来,苹果依赖庞大订单量与

    来源 AI 开发者社区
  4. OpenAI首款AI硬件年底出货:立讯精密独家代工,“甜甜圈”真机渐近

    【TechWeb】OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备

    来源 AI 行业观察
  5. 苹果2027年春季发新机:iPhone 18标准版与Air 2,三星LG面板先行

    【TechWeb】随着新机发布时间临近,苹果供应链已开始为下一代iPhone量产做准备。据ETNews披露,三星显示和LG Display均已着手准备OLED面板生产计划,两家供应商的生产安排一致指向2027年3月的新品发布窗口——标准版iPhone 18与超薄机型iPhone Air 2,将跳过今年秋季,在2027年

    来源 AI 行业观察
  6. 苹果拟签三星DRAM长约:AI算力推高内存成本,四年协议锁定产能

    报道称,受AI算力基建需求激增引发芯片供应紧张影响,苹果拟与三星电子达成罕见的四至五年期DRAM内存供应协议,2027年上半年生效,延续至2031或2032年,以锁定最低采购量,保障未来iPhone、MacBook等产能。此前苹果靠大订单和短期续约压价,但2026年初AI服务器扩建致存储供需失衡,该模式失效。

    来源 AI 产业速递
  7. TrendForce看跌2027年NAND闪存价格:中国云厂砍单规模超北美新增需求

    集邦咨询预测,受供给端产能扩张、中国云服务商大幅削减企业级固态硬盘订单及消费电子需求疲软三重压力影响,NAND闪存合约价格将于2027年一季度开始下滑,二季度起全面进入下行周期。2027年全球位供给量预计同比增长25%至30%,供过于求格局贯穿全年。

    来源 华尔街见闻
  8. 2亿人的红果:最后的流量神话|深氪

    文|兰杰 李小霞 编辑|乔芊 杨轩 即使是字节这样信仰数据的公司,也无法参透流量的一切秘密。 很难解释,为什么在2025年初,红果APP的日活用户数从1.2亿缓慢爬升到1.5亿,花了整整5个月之久。毕竟此前,红果以“每季度翻一倍”的惊人速度在猛增。 同样难以解释,为什么突然,“唰的一下,又迈过1.5亿了。”一位接近红果

    来源 AI 行业观察
  9. 谷歌提出SIM记忆机制:让AI智能体跨模型持续自我改进

    模型一换,精心优化的 agent harness 可能立刻“水土不服”。专为 Claude 演化的 harness 甚至可能给 Gemini 带来“负收益”。因此,模型迁移后需要重新评估继承的修改,判断哪些仍然有效,哪些需要修订。 harness 管理 agent 的上下文、工具和执行流程。递归自我改进(RSI)虽会依

    来源 AI 行业观察
  10. Counterpoint:印度高端旗舰将涨价超 30%

    IT之家 11 月 19 日消息,Counterpoint Research 报告显示,受 AI 数据中心需求拉动 DRAM、NAND 价格持续上涨影响,印度高端旗舰智能手机的价格门槛正从原先的 5 万至 7 万卢比(IT之家注:现汇率约合 3,566 至 4,993 元人民币)区间,被迫上移至 10 万卢比(现汇率约

    来源 腾讯网
  11. Claude开AI工厂:7周造38个模型,狂揽5.5万下载

    Claude开了一家造AI的工厂! 七周,Claude交出38个模型,狂揽约5.5万次下载,杀进100多个GitHub项目。 38个模型累计下载约5.5万次,光是提示注入检测系列就有约1.7万次下载。 这AI工厂背后的「老板」叫Horizon,是一个基于Claude Opus 5.5的智能体。 它开局拿到的,只是一个空

    来源 AI 行业观察
  12. 迈特芯MEGA188芯片点亮:3D堆叠DRAM,端侧推理瞄准600GB/s带宽

    芯东西(公众号:aichip001)作者 | 陈骏达编辑 | 漠影智能体、AI PC、AI Box和机器人等应用,正在推动大模型推理从云端走向终端。但与云端服务器不同,终端设备的功耗、散热和空间都十分有限,如何在有限的资源下跑动参数规模越来越大的模型,成为端侧AI芯片需要解决的问题。大模型推理需要频繁读取模型权重和KV

    来源 腾讯网
  13. DDR 6标准,预览版发布

    全球微电子行业标准制定领导者JEDEC固态技术协会今日发布了其DDR6 DRAM标准的预览版。DDR6是下一代主内存标准,旨在满足人工智能、云计算、数据中心、服务器和客户端计算日益增长的需求。DDR....

    来源 腾讯网
  14. 32GB内存跑180B模型:用Transformers实现MoE专家流式加载

    在只有32GB统一内存的Mac上运行1800亿参数的Qwen模型听起来像天方夜谭,但通过优化Transformers库的专家卸载机制,我们实现了接近专用引擎Strata的性能。本文详细拆解了如何利用SSD流式加载稀疏专家、构建有界缓存以及编写Metal内核,将推理速度提升至14 tokens/s,仅比最优方案慢6%。这

    来源 AI 应用前沿
  15. 阿里云Q2收入609.73亿增53%:算力紧缺成长期现实

    另外,吴泳铭判断:算力紧张是行业中长期要面对的现实,2027至2028年国内算力供给仍存在缺口,阿里会持续补齐自研算力供给,同时通过多元化采购保障供给。吴泳铭表示,全球各个区域的算力政策出现了非常大的变化,将对阿里云的数据中心建设产生影响。根据目前的初步评估,阿里此前制定的到2032年全球数据中心规模超过20GW的目标

    来源 TechWeb
  16. 阿里云单季收入突破600亿,吴泳铭:算力紧缺是长期现实,数据中心建设目标可能下调

    另外,吴泳铭判断:算力紧张是行业中长期要面对的现实,2027至2028年国内算力供给仍存在缺口,阿里会持续补齐自研算力供给,同时通过多元化采购保障供给。吴泳铭表示,全球各个区域的算力政策出现了非常大的变化,将对阿里云的数据中心建设产生影响。根据目前的初步评估,阿里此前制定的到2032年全球数据中心规模超过20GW的目标

    来源 TechWeb
  17. Snowflake Expedition 2026:AI智能体与实时流式升级?

    2026 年 Snowflake Expedition 大会上,Snowflake 展示了一系列覆盖平台架构的重大升级,正逐步由云数据平台演进为支持自主 AI 智能体、实时流式应用和对话式商业智能的统一引擎。 此次发布围绕一个核心理念展开:AI 的价值取决于其所依托的企业业务上下文。 通过引入原生业务本体(Busine

    来源 AI 行业观察
  18. 18天短命收费终结:DeepSeek搜索抓取费用并入Token计费

    DeepSeek官网显示,自北京时间2026年11月18日12:00起,调用模型时触发的服务端搜索、网页抓取不再单独计费,仅按模型Token用量收费。这意味着,这项落地仅18天的按次收费机制被官方正式取消,开发者的联网调用成本结构从此变得更简单——一次请求,只看Token消耗。

    来源 TechWeb
向下滚动自动加载更多