Pinterest携英特尔升级gProfiler:面向数十万实例开源性能分析
Pinterest 与英特尔合作对 gProfiler 进行功能扩展。这是一款开源的持续性能分析工具,能够为互联网规模的基础设施集群提供生产环境性能可见性。 Pinterest 运维着数十万个实例,为 6.4 亿月活跃用户提供支撑,业务服务采用 Java、Python、C++、Go 和 Node.js 编写。在这样的规
Pinterest 这次拉上英特尔,一起给 gProfiler 加了新功能。gProfiler 是一款开源的持续性能分析工具,面向互联网规模的基础设施集群,能提供生产环境的性能可见性。
Pinterest 手上有数十万个实例在跑,支撑着 6.4 亿月活跃用户,业务服务用 Java、Python、C++、Go 和 Node.js 写成。到了这种体量,效率上哪怕只提一点点,对基础设施和成本的影响都不小。工程师以前靠 perf、async-profiler、py-spy 这类工具,采到的性能数据是碎的,想跨语言、跨机器串起来分析很费劲。
Pinterest 没走自研闭源平台那条路,而是和英特尔联手扩展 gProfiler,把新加的能力回馈给这个开源项目。双方这轮合作补上了动态分析、硬件层遥测、挂钟时间分析、性能计数器火焰图等能力,还围绕大型生产集群做了稳定性加固。
gProfiler 的角色是多个现有性能分析工具的编排层。它把系统级的 perf 数据和运行时专用工具结合起来——Java 用 async-profiler,Python 用基于 eBPF 的性能分析——对单台主机上跑的所有进程生成统一火焰图。
现代服务的执行会跨好几个层级,这一点因此格外关键。一个 Java 应用的时间可能耗在 JVM 内部、本地库或者 Linux 内核里,Python 服务则可能牵扯解释器、本地代码和内核活动。gProfiler 把这些视图合到一起,工程师不用再自己挑工具、手动关联结果。
这个代理会自动发现进程,拉起对应的分析器,把各自的堆栈跟踪信息合并,再上传生成的性能分析数据。整个过程不需要改动应用代码。
新能力让工程师可以通过 UI 或 API 选定服务、主机或集群,远程触发性能分析。代理平时休眠,CPU 占用低于 1%,内存占用约 100 MB,靠定时心跳接收分析指令。分析频率、时长和用哪个分析器,都能在不重新部署代理的情况下改。
性能分析由此变成一种运维能力,工程师不用再去拿单台机器的 shell 权限。
和 Intel PerfSpect 集成之后,gProfiler 能采集硬件级信息,比如缓存行为、内存带宽和 CPU 停顿。Pinterest 还加了 PMC 火焰图功能,把函数和缓存未命中、分支预测错误这类硬件性能事件对应起来。
挂钟时间分析是另一个新增功能。CPU 分析统计的是处理器实际占用的时间,可不少时候服务 CPU 占用并不高,响应却慢,原因是线程在等 IO、等锁或者等远程调用。这类等待耗时,挂钟时间分析能把它可视化出来。
gProfiler 把数据采集和分析拆开了。代理跑在各台主机上,聚合和可视化生成的性能分析数据则由 gProfiler Performance Studio 负责。
性能分析数据存在 S3 里,经 SQS 异步索引,再存进 ClickHouse 供分析查询。React 前端支持交互浏览火焰图,聚合后的数据让工程师能跨主机、跨服务、跨时间段比较分析结果。
双方还针对生产环境对平台做了加固,代理资源消耗、磁盘占用、TB 级海量数据摄入这些问题解决之后,才把它部署到整个集群。
持续性能分析这条赛道,竞争越来越激烈。Parca 和 Grafana Pyroscope 用 eBPF 及相关采样技术提供全集群范围的性能分析,Datadog 这类商业平台则把持续性能分析和更广的观测能力放在一起。
gProfiler 的差异点在两处:一是侧重系统级、多运行时性能分析,二是开源可扩展。它不打算取代 perf 或 async-profiler 等工具,而是对它们做编排。借助英特尔的工具链,它还补上了硬件级性能分析能力。
英特尔的 VTune 能提供更深层的处理器和应用性能分析,但它主要按性能工程工具来设计,不是云原生集群分析器。Pinterest 特别提到,正是这处差异让他们决定基于 gProfiler 来构建,而不是去改造 VTune。
规模小的时候,性能分析往往是出了问题才拿出来用的手段。Pinterest 这个业务体量下,等工程师复现问题、或者手动上机器分析,代价太高。持续性能分析给出一个基线,动态性能分析则让团队在异常出现时做针对性排查。
把运行时性能分析、系统行为和硬件性能数据整合在一个开源平台上,Pinterest 让性能分析成了生产可观测性的又一层能力。
【声明:本文由 InfoQ 翻译,未经许可禁止转载。】