星云 Redis 容器化资源降一半交付不用等

资讯 腾讯网 作者:腾讯网 全文 11089 字 · 约 28 分钟读完 分类产品更新

作者 | 星巴克中国平台工程星云的 Redis 容器化从立项到上线,用了两个月;但从“能部署”到“敢上生产”,又花了将近一年的时间做专项优化。这一年里我们做的事情,说穿了就一件:把过去靠供应商、靠熟练度、靠人盯着的运维能力,一条一条搬进平台里。哨兵高可用、持久化分离、猝死保护、数据与元数据分离、参数自动计算、...

所属频道 产品更新
作者 | 星巴克中国平台工程
星云Redis 容器化从立项到上线,用了两个月;但从“能部署”到“敢上生产”,又花了将近一年的时间做专项优化。
这一年里我们做的事情,说穿了就一件:把过去靠供应商、靠熟练度、靠人盯着的运维能力,一条一条搬进平台里。
背景:为什么要
 让 Redis“走进容器”

在那之前,我们的 Redis 一直跑在虚拟机上,由第三方云管平台

方向定下来之前,我们也反复问过自己:Redis 到底该不该跑在容器里。快手公开过他们大规模 Redis 上

项目立项之后,我们没有从零造一个

图 1 星云 Redis 容器化整体部署架构

项目推进得很快,两个月时间容器化 Redis 就基本达到上线要求:主从复制和分片集群两种拓扑都支持,扩缩容、配置热更新、备份恢复、监控看板这些功能都开发完了。做演示的时候一切都很顺利。

但真正的考验是从测试环境接入第一批业务开始的。上线前我们自己压测加业务试用,暴露出不少问题,现在回头看,这些问题的暴露是好事,因为如果直接上生产,代价会大得多。

问题大概有这么几类:

哨兵是高可用的核心,当时为了节省资源,所有主从集群都注册到同一套公共哨兵上。这套哨兵一旦不可用,受影响的不是一个业务,而是一批业务。而且业务改造哨兵地址的成本很高——我们自己盘了一下,一次切换要同时改好几个地方的配置,故障时根本快不起来。测试环境还出现过哨兵记录和主从记录对不上的情况,排查了半天才发现两边记录的实例信息一个用 pod IP 一个用 DNS。

持久化对写入的影响比预期大。主节点既要扛业务读写,又要承担

存储这条线当时也想得不够细。为了让盘能跟着 Pod 走,把持久化文件放到共享存储上,结果 Redis 最重的写盘行为全压到了存储系统;而实例一旦换个节点启动,连“自己是主是从”都要靠人工恢复。性能和高可用两头都没落下。

开源 Operator 的默认参数是通用值,不是为我们这种规格和负载调的。容器里跑 Redis,CPU 核数、内存配额都是受限的,不做针对性调整,性能和稳定性都到不了生产的标准。

缺可观测。日志要登机器去看,没有告警体系,出问题基本靠人肉救火。

这几件事让我们意识到:容器化最难的不是“把 Redis 跑在容器里”,而是“让业务敢把生产数据放进来”。后面这一年多的专项优化,就是围绕这个目标展开的。

优化方法论:把“救火”
变成“产品能力”

我们的优化工作有一条主线:每一次故障处理结束,除了修复当场的问题,还要问一句——这类问题能不能在平台层面彻底消掉?

比如早期主从切换要靠伙伴写脚本手工执行,步骤多、依赖熟练度、还有操作风险。后来这块能力做成了标准化的运维操作接入平台,节点维护的时候可以批量执行,一次操作就能把节点上所有主节点全部切换走。再比如

这就是我们总结的“专项”模式:一个专项对应一类真实问题,解决方式要么是平台功能,要么是运维能力的产品化,要么是参数和脚本的标准化。最终沉淀下来八个方向:

① 高可用与哨兵方案

② 持久化策略与 IO 治理

③ 业务数据与集群元数据分离(让 Pod 能漂)

④ 参数治理与性能调优

⑤ 数据安全

⑥ 可观测与稳定性

⑦ 交付与运维提效

⑧ 业务自助服务(SKU 规格体系)

时间上大致分三段:2025 年下半年平台起步,年底到 2026 年初是集中建设期,绝大部分基础能力和优化都在这个阶段完成;之后进入持续打磨期,随着接入业务变多、生产流量上来,又陆续暴露出新的边缘场景,一个一个补齐。

专项优化

前面列的那些方向,这一年多落地成了七个专项。下面逐个展开,先说当时卡在哪,再说最后变成了什么能力。

专项一:高可用与哨兵方案

基于前面说的情况,我们把问题拆成了三条:

公共哨兵集群故障会影响多个业务,影响面必须收窄;业务修改哨兵地址的成本太高,故障恢复链路必须缩短;哨兵与主从之间记录的实例信息不一致,隐患必须消除。

最终定的方案是:给业务提供固定的服务地址,底层搭建多套哨兵集群。服务地址通过标签选择器绑定到其中一套哨兵上,当前这套出问题,就把选择器换到另一套,业务侧完全无感。同时我们做了一套迁移操作,把 Redis 集群换绑到新的哨兵集群上,整个过程从以前“改一堆配置”变成后台几分钟完成。

图 2 固定服务地址与多套哨兵的换绑关系

配套还做了两件事:

一是统一哨兵的宣告地址。让哨兵在集群里宣告时直接使用自身 Pod IP 并固定下来,从根上杜绝“记录与实际不符”这类问题。这个问题排查非常痛苦,因为它平时不发作,只在故障切换时才变成坑。

二是把哨兵的运维能力产品化,包括从哨兵端发起主从切换、卸载指定 master 的注册信息、哨兵实例的指标暴露等。

还有一个问题绕不开:Redis 搬进容器之后,外面那些没跟着搬的业务怎么连进来。我们的做法是两条链路并存。集群内的应用走服务和集群 DNS,这层最干净。集群外还有一批跑在虚拟机和物理机上的应用,短期不可能一起迁过来,就给它们留节点端口这条路:先问哨兵拿到主库地址,再直连。查询和运维访问另走一条只读入口,不占业务链路。这条路上踩过坑——节点端口场景下分片集群扩容,扩出来的实例在集群内可达、从集群外连不上,最后是靠把暴露方式统一收敛成服务地址解决的,细节在 3.7。

高可用这个专项其实持续了很久,因为大量问题只在边缘场景出现,测试怎么都测不出来,接入业务越多才越暴露。我们前前后后修掉的问题包括:

  • 分片集群在极端情况下分片成员之间的 meet 异常——集群拓扑会错乱,修的时候要重新 meet 节点,我们也把它做成了标准操作;

  • 分片成员因角色残留导致的启动死锁——节点重启后卡在启动阶段,需要先修复角色元数据;

  • 一批 Redis 容器多次异常重启、恢复后部分数据丢失的故障。复盘下来根子在存储和调度而不是 Redis 本身,由此定下两条硬性约束——主从节点强制

  • 哨兵整体宕机后恢复,不能自动完成切主——这条最危险,因为哨兵“看起来活着”,但实际上已经不再主从切换了。修复后哨兵全挂恢复也能自动收敛;

  • 远程存储异常导致主从都异常之后,哨兵不做自动切主——也是同类问题;

  • 停止集群后哨兵侧的注册信息残留,需要人工清理。

这块后来改成了停服自动清理,清理操作本身也做了增强,支持按状态批量执行。

这些问题,有的来自我们自己的使用方式,有的来自开源组件的边缘逻辑,每一个的修复过程都在提醒我们:高可用不是“部署时配置对”就完了,它是一个需要持续验证和持续修复的能力。

专项二:持久化策略与 IO 治理

这是整个优化历程里最亮眼的专项。

Redis 的持久化(RDB 快照、AOF 追加)是数据安全的根本,但写盘产生的磁盘 IO 会跟业务读写争资源。主节点上这个问题尤其突出:一边处理业务请求,一边做后台落盘,磁盘一抖动,请求延迟就上去了,集群健康检查的告警也跟着响。

思路很直接:主节点关闭持久化,专心服务业务读写;从节点开启 AOF,承担持久化职责。这样 IO 压力从主节点卸载到从节点,写入性能稳定了,数据安全也保住了——毕竟数据在从节点上有 AOF。我们把它做成了可配置的能力,通过环境变量开关控制。

这个方案上线后效果很好,IO 相关的告警明显少了。但它有一个隐患,我们当时就意识到了,并且在设计上做了防备。

隐患是这样的:主节点如果发生闪断——比如容器被

空的从节点不可怕,同步一下就恢复了。空的主节点是灾难:客户端连上去,写进去的数据全在内存里,一旦这个节点再挂一次,数据全丢。而且这个问题不一定会立刻暴露,可能埋很久才炸。

我们的解法叫“猝死保护”,核心是三条原则:数据安全优先、自动恢复优先、人工兜底。

具体机制是这样:

主节点在成为主的时候,往数据目录里写一个角色标记文件。节点启动时先做检查:

启动检查:├─ 有持久化数据(AOF 目录存在)? → 正常启动├─ 无数据 + 无标记文件? → 正常启动(初始化场景)└─ 无数据 + 有标记文件? → 进入阻塞恢复循环

只有“无数据 + 有标记”这一种情况会进入阻塞——它意味着“这个节点之前当过主,但现在数据没了”,是最危险的组合。进入阻塞后,节点不对外服务,而是进入一个恢复循环:每轮先看三件事,数据是否恢复了、标记文件是否被人工删除、是否已经选出了新的主节点;等待超过阈值后再去探一次从节点的数据量,从节点有数据就触发强制接管(

超时之后自动尝试接管,是尽可能让系统自愈;如果自愈也失败,就停在阻塞状态等人工处理。

图 3 猝死保护的完整判断链:只有“当过主 + 数据没了”这一种组合会被拦住

这个机制的含义是:宁可让这个实例阻塞几十分钟等人来处理,也绝不允许它拿着空数据对外服务。对数据库类产品来说,“暂时不可用”和“数据丢失”是完全不同量级的后果,前者业务能接受,后者不可原谅。

后来我们把同一套机制也应用到了分片集群,还补了一些工程上的细节。比如主节点重新打开 AOF 时要清理历史遗留的 AOF 目录,我们选择先重命名备份而不是直接删除,留一个后悔的机会;再比如加了总开关,在特殊情况下可以完全关闭“主关从开”的控制逻辑,让 Redis 回到原生行为。

“主关从开”配合猝死保护,现在是所有生产主从和分片集群的标配。

专项三:业务数据与集群元数据分离

这个专项解决一个很具体的问题:Pod 到底能不能挪。

容器化最有吸引力的地方,是 Pod 可以被随时驱逐、重新调度到别的节点——节点要维护、负载要均衡、机器要下线,这些都是常规操作。但数据库的 Pod 一旦跟某一块盘绑死,它实际上就动不了了。

早期 Redis 的持久化文件和集群元数据放在同一个数据目录里,一起挂一块盘。这个目录里既有业务数据(AOF、RDB),也有角色标记、配置快照、集群成员和分片拓扑记录、哨兵注册信息这些小文件。混在一起的代价体现在两件事上。

一是漂移动作变成了有损操作。Pod 漂到新节点,原来那块盘跟不过去,实例重新起来的时候“不知道自己是谁”:原来当的是主还是从、属于哪个分片、哨兵那边注册的地址是哪个。这些信息全在元数据里,元数据一丢,就得人工恢复元数据、重新注册主从关系,一次普通的重新调度要人守很久。

二是共享存储被写穿。为了让盘能跟着 Pod 走,我们试过把持久化文件放到远程分布式存储上。Redis 的写盘行为在这条路上暴露得很充分:AOF 是持续追加,RDB 快照是把整个内存刷下去,实例内存越大、快照那一下的吞吐越吓人。几套大内存集群的快照时间一撞,共享存储的 IO 直接被打满——而被拖慢之后,受影响的是挂在它上面的所有实例,不只是发起快照的那一个。

后来我们不再纠结存储规格够不够用,而是先把“什么东西放在了共享存储上”这件事想清楚,按读写方把挂载拆成三类。

业务数据走本地数据盘。AOF、RDB 这些引擎自己要频繁读写的文件放本地盘,IO 延迟稳定,快照突发不会去挤共享存储的带宽。配套的改动还包括把本地存储的数据目录从系统盘挪到独立数据盘,日志和临时文件写满系统盘这类事情从机制上断掉。

集群元数据单独一块小卷。3.2 里提到的那个角色标记文件、配置快照、集群成员与分片拓扑记录、哨兵注册信息,全都归到这一类。它们的共同特点是:读的人是平台而不是引擎,体量只有 KB 到 MB 级,对 IO 几乎没有要求,但对一致性要求很高。把元数据从数据目录里拎出来独立存放之后,实例恢复身份这件事就不再依赖原来那块数据盘了。

备份走对象存储。全量备份压缩之后落对象存储,属于离线链路,完全不占在线存储的资源。

拆开之后,漂移的链路就顺了:调度器把 Pod 挪到别的节点 → 平台按集群身份找回元数据,实例先搞清楚“我是哪套集群的哪个分片、原来什么角色” → 本地数据盘重新分配 → 以从节点身份加入,通过 Redis 原生复制把数据同步回来 → 需要的时候再做一次主从切换。

这里有个关键点:数据不是从旧盘上“搬”过来的,而是重新复制出来的。也正因如此,这个专项必须和“主关从开”配套用——主节点不落盘省掉 IO 压力,从节点落盘保证数据始终在盘上有一份,实例重建时才有东西可同步。快速摘除异常节点、重新注册主从关系、重置哨兵的 master 信息这几个动作,也都做成了平台上的标准运维操作,不再是靠人手改配置。

本地盘不是白拿的,代价得摊开说。腾讯云有篇讲有状态服务上

图 4 分离之后:元数据找回身份,本地盘承接写压力,数据靠复制重建

分离之后,共享存储上基本只剩元数据这一类小 IO,Redis 的写放大和快照突发全部落在本地盘。远程存储不再站在在线读写路径上,之前那种“几套大实例同时做快照把存储打满”的场景就消失了。同期我们把数据节点从提供存储的机器上迁了出去,存储机器只做存储——数据的性能和存储的服务能力从此互不拖累。

Pod 能挪,还得保证挪出去的位置不制造新的风险。两条约束固化进了集群创建流程。Pod 这一层,同一套集群的主从节点强制反亲和,不允许调度到同一个节点上;虚拟机这一层,节点所在虚拟机的宿主机也要打散——Pod 反亲和只能保证“不在同一个节点”,但两个不同节点完全可能是同一台物理机上的两台虚拟机,物理机一挂,两个“不同节点”同时下线,Pod 反亲和就白做。

物理机、虚拟机、Pod 三层故障域都打散,一次漂移才真的是换了一个故障域,而不是换个位置继续挤在一起。

图 5 少一层反亲和,故障域就没打散

这套机制覆盖的是“实例能重建、身份能恢复、数据能重复制”。极端场景下本地盘的整块故障自动转移、元数据的定期备份回滚,目前还在治理中,也一并列进了文末的未来规划。把边界说明白,是因为这两块恰恰是分离架构新引入的关注点:数据可以靠复制重建,元数据不行。

专项四:参数治理与性能调优

Redis 的参数有两百多个,跟规格、负载场景强相关。这个专项我们分四层做了系统性治理。

Redis 6、7、8 三个大版本的参数体系有差异,同样的参数在版本间的行为也可能不同。我们基于兼容性测试和性能测试,整理并落地了三个版本各自的默认参数集,目标是开箱即用、保证稳定性。所有新集群创建都从基线出发,这是后面一切优化的地基。

参数总归是要改的。以前改参数要么进容器改配置文件重启,要么让平台侧执行命令,都不安全也不方便。

我们做的方式是让平台从引擎的参数元数据里自动读取全部可调参数,在页面上以下拉框的形式提供配置入口。关键设计是区分动态和静态:动态参数在线修改、立即生效,适合应付流量突增或者限流调整;静态参数则走滚动重启流程,但不是简单重启——先生效从节点,再触发一次主从切换,最后重启原主节点。这样滚动重启的风险被控制在单节点范围内,参数生效的同时业务几乎无感。

图 6 静态参数的滚动重启顺序:从 → 切 → 主

Redis 不少参数需要跟规格匹配,手工填很容易出错,比如内存上限填得比容器配额还大,实际运行时会出各种奇怪问题。

我们把这类参数从“手工填写”改成“按规格自动推导”。举几个原则性的例子:

  • 内存上限按规格的 80% 左右计算,留出客户端缓冲区和系统开销的空间;

  • 客户端缓冲区上限再取内存上限的一个小比例(5% 左右);

  • 复制积压缓冲区按规格大小自适应,设了下限和上限,小规格不至于占太多内存,大规格不至于不够用;

  • 客户端输出缓冲区的软硬限制跟积压缓冲区联动,避免慢客户端把内存吃光。

这些公式都不复杂,但它们跟着规格走,同一套模板在不同规格上都能得到合理的配置,这一点比任何一份“最佳实践文档”都可靠。

三个具体的点:

IO 线程数(

自动碎片整理之前没有开启,长时间运行的实例内存碎片率会上来。我们把碎片整理的参数补进默认配置:启用碎片整理,调整触发阈值的下限,同时控制好整理的天花板,避免碎片整理本身消耗太多 CPU。

大 Key 治理,包括热 Key 扫描和大 Key 分析的展示优化,把“哪些 Key 有问题、问题有多大”直观地摆在业务面前。

专项五:数据安全

高可用解决的是“故障时服务还在”,数据安全解决的是“不管发生什么,数据都在”。这个专项做了三件事。

备份体系。 支持全量备份,可以定时也可以手动触发,备份数据自动持久化到对象存储。运维人员可以随时从备份恢复数据、回滚。后来我们还做了两个升级:一是从备份创建新集群——用生产备份直接拉起一个隔离的新环境,问题复现、功能验证、变更演练这三个场景都特别有用,以前要么在生产上冒险操作,要么手动导数费半天劲;二是恢复不必回到原来那套集群——同一个备份既能原地拉回来,也能恢复到另一套集群上,我们在测试环境完整验证过恢复流程,确保备份真的能恢复,而不是“备份任务成功但恢复失败”这种最尴尬的情况。

图 7 数据安全三件事:备份的三条出口、Key 治理、凭据初始化

数据治理工具。 热 Key 扫描在线分析实例里访问频率最高的 Key,帮助定位热点;大 Key 过滤在备份和分析过程中识别过大的 Key,避免单个大 Key 拖垮内存和性能。快照分析这一块也做了增强:业务以前拿到快照数据后要自己想办法分析,现在平台支持按前缀过滤和导出具体 Key,想让业务看什么就能给什么。这几项在原来那套托管平台上是提不出来的需求——它只做虚拟机部署,热 Key 分析、备份统一管理这类事不在它的路线图里。业务报了问题,我们也只能陪着一起等。

账号安全。 早期 Redis 用的是固定密码,现在改成随机密码初始化,降低凭据管理体系里的风险面。

专项六:可观测与稳定性

日志。 运行日志和慢日志都接入了日志平台,慢日志还单独做了 exporter。容器里的日志有堆栈场景,我们配置了多行合并规则,保证错误堆栈在日志平台上是一条完整的记录而不是散着的几十行。现在排查异常不需要登机器了,这是运维体验改善最直观的一项。

告警。 从零建立了告警配置,配合告警专群做触达。告警规则本身也做了治理——比如集群刚创建还没交付时不告警,避免干扰值班。

拨测。 我们用拨测做业务视角的可用性验证,参考了 blackbox 的思路。这里有个挺有意思的设计:以前拨测和告警最烦的场景是“初始化时误告警”“维护时误告警”——变更窗口内的实例状态跟业务预期不一致,拨测结果就没法用。

根因是集群没有一个地方表达“我现在处于什么状态”。所以我们给模板加了生命周期标签,集群在整个生命周期里有明确的状态:初始化、已交付、维护中、待回收、已回收。拨测和告警根据状态区别处理——维护中的集群不告警不拨测,已交付的集群正常告警正常拨测。变更窗口的噪音一下就消掉了,值班同学再也不用在维护时手动屏蔽告警。

图 8 生命周期标签:每个状态对应一套拨测与告警策略

业务关联。 这个能力我们觉得是最实用的:平台可以拿到连接 Redis 的客户端 IP,然后关联到对应的业务 Pod 并展示出来。以前排查一个连接数暴涨或者大 Key 是谁的,要在库里查半天客户端信息再去对业务;现在打开页面就能看到“是哪个业务的哪个 Pod 在连这个实例”,排查时间从几十分钟缩短到一眼。

监控看板。 指标导出接入统一的监控平台,集群级的监控看板、全局仪表盘都建起来了,多集群的健康状态集中展示。

专项七:交付与运维提效

容器化中期,Redis 的开通入口接到了内部工单系统 modio。业务直接在工单里选规格、提交申请,平台收到工单后自动完成集群创建,再把连接信息回填到工单里。业务从“提申请、等排期、等运维操作”变成了“选规格、等几分钟、拿地址”——规格选择、组件版本、资源配额、监控开关,全在工单里选完,不再需要来回沟通确认。

规格这一块(我们内部叫 SKU)开放了多个标准化档位,从入门规格到大内存规格都有,用户按需选。背后是一套规格体系:每种规格对应一套固定的资源配额和参数基线,跟内部原来的托管平台规格对齐,业务迁移过来不用重新理解一套规格定义。

图 9 一次自助开通:业务只提交一次申请,剩下的都在平台里

交付质量兜底。 自助化之后,交付质量的要求反而更高了,因为流程里没有人工兜底。所以几个交付动作被固化进了流程。

其中一个是交付后的自动化钩子。平台在“集群创建完毕”这个节点上挂了 hook,可以接着自动执行一批集群级的 ops 操作,第一个用起来的就是主动主从切换。

这一步看着有点多余——集群刚建好,主从本来就有了,为什么还要再切一次?因为它要保证的是编号 -1 的实例落在

另一个是返回给业务的连接地址按交付规范生成——sentinel 主从返回固定的服务地址,集群内和集群外访问分别提供对应的方式;期间发现过返回地址错误的问题,也一并修复了。

变更审批与追溯。 自助化把开通的门槛降下来了,但生产环境的变更不能靠自觉。关键操作一律走审批:谁申请、谁批的、改了什么参数、什么时候生效,链路上全程留痕,事后能一条一条倒回去看。这一层首先是合规要求,对我们自己更有用的地方在于——只有变更可追溯,复盘时才分得清是代码写错了还是某个人在某个时间点手改了一下。分不清这件事,问题清单就永远消不干净。

双向集成。 星云侧提供了跳回 modio 的入口,两边业务信息关联展示,排查问题时能快速找到工单信息。

modio 侧的管理能力。 我们还把一批运维操作通过 ops 暴露出来,支持 modio 侧的泳道开发:Kafka 的 topic 管理,RabbitMQ 的用户、vhost、交换机、队列、权限的增删查,以及 exchange 的 bind/unbind,都可以通过 ops 自助完成一部分。

通用提效。 集群模板、模板克隆、连接信息一键拷贝这些功能把日常交付和复制环境的时间从“按步操作”压缩到“点几下”。节点维护模式支持批量把节点上所有主节点切换成从节点,维护前跑一次,业务无感。主动、被动主从切换、指定实例提升这些都产品化了,让切换从“写脚本执行”变成“页面点选”。

扩容缩容与网络。 扩缩容期间修掉了一批问题:水平扩容启动脚本失败、副本缩容异常、扩容从节点时出现多个主、

成果与收益

稳定性。 现在前面提到的那些故障场景基本都能自动收敛:哨兵切换不需要人工介入、主节点空数据不会对外服务、哨兵全挂恢复后自动切主、维护窗口不再误告警。值班同学从“随时准备登机器救火”变成“处理平台推送的告警”。这些结论不是推演出来的,是一场一场演练打出来的:节点整机宕机、节点计划维护与网络隔离、节点 CPU

交付效率。 交付从天级缩短到分钟级;自助开通后,业务从工单流出到拿到连接信息只要几分钟。规格、版本、资源配额、监控开关都在一张工单里选完,平台按模板把整套集群拉起来,一套三主三从的分片集群三分钟起。链路短了,中间的人工确认和排队都省掉了。

成本。 资源池化管理,按实际用量分配,专用节点池保障性能——生产环境的 Redis 有独立的专用节点,不会跟其他业务争资源;测试环境按需分配。省了多少,测试环境有一组前后对比:同一批 Redis 集群容器化之后,CPU、内存、存储三项都降到原来的三分之一左右,降幅在 63% 到 69% 之间。这组数字不能直接推到生产——测试环境的负载形状比生产规整,也没有真实的峰值流量,生产上不会降得这么整齐。但省下来的东西是同一类:过去按峰值留给每台虚拟机的余量,现在被资源池吸收了。还有一块是看不见的成本:不再为第三方托管平台的许可付费,长期成本从跟着合同走变成自己算得清。行业里也有量级参照,B 站把 Elasticsearch、ClickHouse 这些有状态服务搬上 K8s,存储选本地盘加

测试环境容器化前后资源对比

基础设施解耦。 业务数据、集群元数据、备份各走各的存储,共享存储不再承接在线写压力;节点维护和实例重调度从“要提前几天准备的人工工程”,变成了平台上的常规动作。

体验。 业务侧基本无感:故障时不用改配置,开通时不用等排期,排障时有人帮他定位是哪个 Pod 在连。

经验与感悟

容器化真正难的部分,是让“人”的经验不再被需要。 容器化本身不复杂,把 Redis 跑在容器里几天就能做到。难的是把过去靠供应商、靠熟练度、靠流程保证的东西,变成代码和产品能力。我们做的每一个专项,本质都是把一条“只有某个人知道怎么处理”的经验,变成“平台自动处理”。这件事没有尽头,但每做一条,系统就强一分。

数据库产品的底线思维和业务系统不一样。 业务系统出故障,降级、限流、fallback,有很多手段。数据库不行,数据没了就是没了。所以“猝死保护”我们选择了最保守的设计——宁可阻塞等待人工介入,也绝不以空数据启动。这类原则要写进代码里,不能只写在文档里,因为真正出事的时候,没有人会记得文档上写过什么。

先分清数据流,再选存储。 共享存储扛不住的时候,我们一度以为那是规格问题,加盘、扩容都试过。真正的转折点是换个问法:这份数据是谁在读、读得有多频繁。想清楚这个,业务数据落本地盘、元数据走独立小卷、备份进对象存储就是自然的结果,而不是权衡出来的妥协。存储架构的账,最后都是数据流的账。

开源 Operator 和自研平台的边界要清楚。

快手公开的那份大规模 Redis 上 K8s 的实践是同一条路:也用 Operator 管生命周期,也靠细粒度打散调度把故障域切开,也用

这一年做的专项,几乎都能在别人的问题清单里找到对应项。 B 站把 Elasticsearch、ClickHouse 这些有状态服务搬上 K8s,腾讯云那篇讲有状态服务上 K8s 的文章,包括前面提到的快手,踩坑的位置高度重合。这说明容器化中间件要补的能力是共性的,不是我们特殊;也说明没有谁能替谁走一遍。

团队的坚持才是最关键的。 这一年的优化里,相当一部分工作是在夜里、在业务低峰期完成的——迁移、切换演练、参数调整,很多动作必须放在业务量最低的窗口。也是这一年的坚持,让平台从“能演示”变成了“业务敢用”。回头看,问题清单是一步一步消掉的,没有捷径。

未来规划

存量迁移。 新建集群已经不再走虚拟机的交付方式,接下来的重心是把存量一套一套搬过来:按业务等级分批,先做内部业务系统和等级高的集群,每一批都带着演练报告和回滚方案走。

多数据库矩阵。 Redis 的这套能力还在往外扩:MySQL、PostgreSQL、MongoDB、消息队列(RabbitMQ、Kafka、RocketMQ)、搜索引擎都在推进中,部分已经上线。数据服务管理平台的目标是成为内部所有有状态服务的统一交付入口。

可用性继续往上走。 有几个方向在进行中:本地盘数据漂移治理——极端故障场景下实现本地存储数据的自动故障转移;远程存储元数据定期备份到本地——控制远程存储整体故障时的爆炸半径;主从状态实时感知集成——让平台对 Redis 主从状态的变化更实时;实例整体宕机后的自动恢复能力。

自助能力深化。 批量配置变更、和

参考资料

《是否应在 Kubernetes 上运行 Redis?快手这样做》

《谁说数据库不应放在容器中?B 站 Kubernetes 有状态服务实践》

《揭秘有状态服务上 Kubernetes 的核心技术》

END
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 永不停歇的资本开支,换不回存储公司一夜安眠

    作者:贾乐乐;编辑:嘉辛近期,长江存储母公司长存控股的科创板IPO传出暂缓消息。原定于10月底至11月初启动的战略配售程序被推迟,上市进程可能因此延后数月。目前项目仍处于上交所“已问询”阶段,并未终止或撤回。2026年第一季度,长存控股实现归母净利润333.79亿元。对于一家单季就赚了330多亿元的公司来说,IPO募资

    来源 腾讯网
  2. Agent如何越用越强?中科院自动化所、美团等推出RSI综述

    从 Prompt 优化到 Harness 进化,梳理 RSI 的发展趋势,用三个问题、七步生命周期,理解 Agent 如何把经验转化为持续改进。想象这样一个场景:一个编程 Agent 调用 API 时遇到报错,发现接口参数已经更新。经过几轮尝试,它终于修复了问题。但到了下一个任务,它还会不会犯同样的错误?这次修复能否沉

    来源 腾讯网
  3. Anthropic IPO看跌声渐起:Polymarket赔率一周从42倍缩到2.8倍

    Anthropic备受瞩目的、预计将创造历史的IPO,“意外”是越来越多了。 最新的一个意外是,Anthropic在11月9日,也就是原定启动投资者路演的前一天撤回了IPO定价文件。这份文件原本会将它的定价区间最高市值定在1.441万亿美元。随后Anthropic更新了文件,将估价区间确定为每股70至78美元,这意味着

    来源 AI 行业观察
  4. 微软欧洲服务持续改善,恢复重点转向积压邮件清理

    11月13日消息,根据微软网站上的一则更新,微软表示,受影响地区的恢复工作正持续取得进展,目前北美地区已出现更广泛的改善,欧洲大部分地区也保持着持续改善的态势。同时,亚太地区也出现了令人鼓舞的恢复迹象。随着对剩余受影响基础设施的修复工作推进,部分用户可能仍会遇到间歇性的访问问题或电子邮件投递延迟。目前微...

    来源 腾讯网
  5. 微软Microsoft 365故障现初步稳定迹象,容量尚未恢复

    11月13日,根据微软网站上的一则更新,微软受故障影响的Microsoft 365服务“已出现初步稳定迹象”。微软表示,尽管如此,服务容量尚未恢复正常水平,且随着流量被谨慎地重新引入,服务健康状况仍存在波动。为了在恢复期间保护电子邮件,微软表示将继续优先处理队列和积压数据,并且已将电子邮件超时窗口延长至48小时,以保.

    来源 腾讯网
  6. 微软致歉全球服务中断:网络容量升级所致,恢复时间未定

    【TechWeb】11月14日消息,当地时间11月13日,微软公司就一起导致数百万用户受影响的全球性服务中断事件公开致歉。微软表示,此次故障“与网络攻击或人工智能/智能体(AI agents)无关”,而是由早先一次“网络容量升级”引发。目前,公司尚无法预计服务何时能够完全恢复。 据央视新闻报道,微软在声明中对此次事件给

    来源 AI 行业观察
  7. 阿里发布Qwen4并上线Qwen4-Max:Token减半、得分升近28%

    阿里巴巴11月16日正式发布全新一代基座大模型 Qwen4,千问 AI 平台首发上线 Qwen4-Max,API 服务与 Token Plan 同步开放。模型采用基于 Qwen 稀疏注意力(QSA)的全新 MoE 架构,总参数2.4T,具备原生视觉与长程任务稳定交付能力,支持百万上下文,可调用专业工

    来源 AI 开发者社区
  8. 微软全球服务中断致歉:网络容量升级引发,涉74个国家和地区

    微软表示,此次故障“与网络攻击或人工智能/智能体无关”,而是由早先一次“网络容量升级”引发。据外媒报道,微软此次故障迅速外溢至公共服务和商业活动。微软表示已解决底层问题,正在为剩余客户和地区恢复服务,并将在事件解决后提供详细事后报告,但截至致歉声明发布时,尚无法给出完全恢复的明确时间表。对微软而言,这是其历史上持续时间

    来源 TechWeb
  9. 微软致歉全球服务中断:网络容量升级所致,与攻击和AI无关

    微软表示,此次故障“与网络攻击或人工智能/智能体无关”,而是由早先一次“网络容量升级”引发。据外媒报道,微软此次故障迅速外溢至公共服务和商业活动。微软表示已解决底层问题,正在为剩余客户和地区恢复服务,并将在事件解决后提供详细事后报告,但截至致歉声明发布时,尚无法给出完全恢复的明确时间表。对微软而言,这是其历史上持续时间

    来源 TechWeb
  10. 腾讯推元宝搜索:AI搜索成新战场,谁能胜出?

    AI时代,搜索业务再次成为兵家必争之地。 图源:元宝搜索 2026年11月11日,公司创办28周年之际,腾讯推出全新搜索产品“元宝搜索”,拥有独立网页。用户也可将QQ浏览器升级至最新版本,在引擎设置选项中选择“元宝搜索”。 不只腾讯,近期阿里巴巴、字节跳动等互联网公司,以及DeepSeek、月之暗面等AI企业都正紧锣密

    来源 AI 行业观察
  11. 苹果watchOS 26.6.1推送:Series 6至Ultra修补AirPlay漏洞

    IT之家 11 月 15 日消息,苹果于当地时间 11 月 9 日为 Apple Watch Series 6、Series 7、Series 8、Apple Watch SE(第二代)和 Apple Watch Ultra 机型发布 watchOS 26.6.1 系统更新(版本号 23U95),主要修复了多项安全漏洞

    来源 AI 行业观察
  12. 米磊谈硬科技:AI、人形机器人与核聚变正改写时代底牌

    这个时代正在重新洗牌。AI大模型正以周为单位迭代,DeepSeek-R1仅用约30万美元训练成本便实现对标OpenAI的推理能力,开源阵营与闭源前沿的差距已缩至3至6个月;人形机器人Figure 02已在宝马工厂完成长期无安全员值守的自主作业,累计参与数万辆汽车生产,从实验室原型正式迈入产线员工行列;核聚变商业化则多点

    来源 腾讯网
  13. 终于来了!DeepSeek多模态视觉模型API全面开放

    DeepSeek此次推出多模态视觉理解模型,标志着其从纯文本大模型向多模态AI全面进军的战略升级。业内分析认为,DeepSeek此次推出的多模态视觉模型,在保持纯文本能力不妥协的前提下,将视觉理解Agent能力推至接近行业顶尖水平Opus-4.8。随着多模态API的全面开放,开发者生态有望迎来新一轮创新爆发。

    来源 TechWeb
  14. 谷歌Pixel屏保故障:11月更新后亮度自动回升

    IT之家 11 月 15 日消息,据科技媒体 Android Authority 前天报道,谷歌为 Pixel 系列手机推出的 11 月大型更新似乎出现多项故障,据多名用户反馈,他们的手机充电时显示的屏保不再自动调暗。IT之家从原报道获悉,谷歌 Pixel 系列手机的屏幕保护程序允许屏幕自动调暗,用户可以设置仅充电时、

    来源 腾讯网
  15. 千问接入动态血糖仪:24小时同步数据,可结合饮食运动作息解读

    11月14日,千问APP「健康档案」上线“动态血糖仪接入”,用户授权连接后,即可24小时同步血糖数据,查看血糖曲线、分时段读数和每日概览,并由千问结合饮食、运动、作息等个人情况分析血糖变化、给出如“熬夜会导致血糖升高”“短期峰值可能是情绪起伏大”等健康解读。 例如,当用户发现自己在傍晚时段血糖有上升趋势,千问能够结合该

    来源 AI 开发者社区
  16. Perplexity Mac版上线Teammates:Max订阅用户可建AI团队

    IT之家 11 月 14 日消息,Perplexity 今天(11 月 14 日)发布公告,邀请付费 Max 订阅用户,在 Mac 平台版 Perplexity 应用上体验 AI 智能体功能“队友”(Teammates)。该功能此前仅支持 iOS 和网页端,如今进一步覆盖桌面办公场景。 Teammates 可以理解为一

    来源 AI 行业观察
  17. 千问Qwen4-Max预览版上线:刘大一恒首份答卷能否追上腾讯Hy4

    11月11日,千问发布Qwen4-Max预览版,并宣布Qwen4即将正式发布。 从10月开始,关于阿里Qwen4的消息就陆续传出。此前,匿名模型Kalmia现身大模型盲测平台Arena,被广泛猜测是Qwen4;有关其游戏开发能力的内测结果,也在社交媒体上流传。 官方也在持续预热。11月6日,千问发出海报——“北冥有鱼,

    来源 AI 行业观察
  18. 灵珠AI用户近500万:上线不足半年,下一步怎么走?

    11月13日,零门槛AI创作与互动内容平台灵珠AI公布最新数据:灵珠平台累计访问用户已近500万。上线不到半年,灵珠AI在用户规模快速增长的同时,也开始探索AI互动内容的商业化路径,推动AI创作进入变现阶段。灵珠AI是中国首家零门槛AI创作与互动内容平台,面向中国10亿普通用户提供AI互动应用的生成、发布及商业化服务。

    来源 腾讯网
  19. 微软全球宕机后全面恢复,部分服务器意外离线

    周五,美国科技巨头微软遭遇全球范围内大规模宕机,涉及旗下Outlook邮箱、Teams即时通讯、Microsoft 365等多项服务,并波及人工智能企业OpenAI和Anthropic。当地时间11月13日,微软确认,其服务已全面恢复。微软网站更新服务运行状况,显示“所有产品均正常运行”。同时,该公司在其Microso

    来源 腾讯网
向下滚动自动加载更多