Pinterest携英特尔升级gProfiler:面向数十万实例开源性能分析

资讯 AI 行业观察 作者:作者:Craig Risi 全文 1923 字 · 约 5 分钟读完 配图 3 张 分类英特尔开源合作

Pinterest 与英特尔合作对 gProfiler 进行功能扩展。这是一款开源的持续性能分析工具,能够为互联网规模的基础设施集群提供生产环境性能可见性。 Pinterest 运维着数十万个实例,为 6.4 亿月活跃用户提供支撑,业务服务采用 Java、Python、C++、Go 和 Node.js 编写。在这样的规

所属频道 算力与芯片开源生态合作与生态

Pinterest 这次拉上英特尔,一起给 gProfiler 加了新功能。gProfiler 是一款开源的持续性能分析工具,面向互联网规模的基础设施集群,能提供生产环境的性能可见性。

Pinterest 手上有数十万个实例在跑,支撑着 6.4 亿月活跃用户,业务服务用 Java、Python、C++、Go 和 Node.js 写成。到了这种体量,效率上哪怕只提一点点,对基础设施和成本的影响都不小。工程师以前靠 perf、async-profiler、py-spy 这类工具,采到的性能数据是碎的,想跨语言、跨机器串起来分析很费劲。

Pinterest 没走自研闭源平台那条路,而是和英特尔联手扩展 gProfiler,把新加的能力回馈给这个开源项目。双方这轮合作补上了动态分析、硬件层遥测、挂钟时间分析、性能计数器火焰图等能力,还围绕大型生产集群做了稳定性加固。

gProfiler 的角色是多个现有性能分析工具的编排层。它把系统级的 perf 数据和运行时专用工具结合起来——Java 用 async-profiler,Python 用基于 eBPF 的性能分析——对单台主机上跑的所有进程生成统一火焰图。

Pinterest携英特尔升级gProfiler:面向数十万实例开源性能分析(配图 1)

现代服务的执行会跨好几个层级,这一点因此格外关键。一个 Java 应用的时间可能耗在 JVM 内部、本地库或者 Linux 内核里,Python 服务则可能牵扯解释器、本地代码和内核活动。gProfiler 把这些视图合到一起,工程师不用再自己挑工具、手动关联结果。

这个代理会自动发现进程,拉起对应的分析器,把各自的堆栈跟踪信息合并,再上传生成的性能分析数据。整个过程不需要改动应用代码。

新能力让工程师可以通过 UI 或 API 选定服务、主机或集群,远程触发性能分析。代理平时休眠,CPU 占用低于 1%,内存占用约 100 MB,靠定时心跳接收分析指令。分析频率、时长和用哪个分析器,都能在不重新部署代理的情况下改。

性能分析由此变成一种运维能力,工程师不用再去拿单台机器的 shell 权限。

和 Intel PerfSpect 集成之后,gProfiler 能采集硬件级信息,比如缓存行为、内存带宽和 CPU 停顿。Pinterest 还加了 PMC 火焰图功能,把函数和缓存未命中、分支预测错误这类硬件性能事件对应起来。

Pinterest携英特尔升级gProfiler:面向数十万实例开源性能分析(配图 2)

挂钟时间分析是另一个新增功能。CPU 分析统计的是处理器实际占用的时间,可不少时候服务 CPU 占用并不高,响应却慢,原因是线程在等 IO、等锁或者等远程调用。这类等待耗时,挂钟时间分析能把它可视化出来。

gProfiler 把数据采集和分析拆开了。代理跑在各台主机上,聚合和可视化生成的性能分析数据则由 gProfiler Performance Studio 负责。

性能分析数据存在 S3 里,经 SQS 异步索引,再存进 ClickHouse 供分析查询。React 前端支持交互浏览火焰图,聚合后的数据让工程师能跨主机、跨服务、跨时间段比较分析结果。

双方还针对生产环境对平台做了加固,代理资源消耗、磁盘占用、TB 级海量数据摄入这些问题解决之后,才把它部署到整个集群。

持续性能分析这条赛道,竞争越来越激烈。Parca 和 Grafana Pyroscope 用 eBPF 及相关采样技术提供全集群范围的性能分析,Datadog 这类商业平台则把持续性能分析和更广的观测能力放在一起。

gProfiler 的差异点在两处:一是侧重系统级、多运行时性能分析,二是开源可扩展。它不打算取代 perf 或 async-profiler 等工具,而是对它们做编排。借助英特尔的工具链,它还补上了硬件级性能分析能力。

英特尔的 VTune 能提供更深层的处理器和应用性能分析,但它主要按性能工程工具来设计,不是云原生集群分析器。Pinterest 特别提到,正是这处差异让他们决定基于 gProfiler 来构建,而不是去改造 VTune。

规模小的时候,性能分析往往是出了问题才拿出来用的手段。Pinterest 这个业务体量下,等工程师复现问题、或者手动上机器分析,代价太高。持续性能分析给出一个基线,动态性能分析则让团队在异常出现时做针对性排查。

把运行时性能分析、系统行为和硬件性能数据整合在一个开源平台上,Pinterest 让性能分析成了生产可观测性的又一层能力。

【声明:本文由 InfoQ 翻译,未经许可禁止转载。】

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Claude称证出黎曼猜想,陶哲轩等数学家回应

    智东西11月21日报道,昨夜,Anthropic数学家莱文特·阿尔珀格(Levent Alpöge)在个人网站上发布声明,宣称自己与Claude合作,找到了黎曼猜想及其更强版本——广义黎曼猜想(GRH)的证…

    来源 搜狐科技
  2. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
  3. GitHub Agentic Workflows转正:10美元默认预算够用吗?

    作者 | Mark Silvester译者 | 田橙GitHub 已宣布 GitHub Agentic Workflows 正式可用。这个开源项目可以在 GitHub Actions 中运行编码智能体,处理 Issue 分类和持续集成(CI)故障分析等代码仓库任务。智能体启动时仅拥有只读权限,其提出的任何更改都由独立作

    来源 腾讯网
  4. 腾讯混元正式开源Hy4

    36氪获悉,腾讯混元宣布Hy4正式开源,可在GitHub、Hugging Face、ModelScope和GitCode社区下载部署。混元LLM模型已全部开源,包括Hy3 preview、Hy3、Hy4 preview、Hy4、Hy4 flash等。

    来源 AI 行业观察
  5. Anthropic数学家阿尔波格称与Claude合作完成黎曼猜想证明

    IT之家 11 月 20 日消息,据《科学美国人》报道,当地时间 20 日,Anthropic 数学家莱文特 · 阿尔波格宣称,自己与 AI 模型 Claude 合作,攻克了数学界最著名的难题之一 —— 黎曼猜想。阿尔波格在个人网站发表声明称:“我相信,我与 Claude 合作找到了黎曼猜想的证明。”IT之家注:黎曼猜

    来源 腾讯网
  6. 医槌定因完成种子轮融资:涉医法务AI押注医院不愿提的数据

    深耕涉医法务AI及医疗数据底层 涉医法务赛道的AI企业「医槌定因」于近日完成种子轮融资,本轮由睿赢医考、云生物联合投资,资金将主要用于其核心AI&专家协作系统的迭代优化、三类专有数据集的深度打磨、合作方拓展以及线下门店的开设。 医法交叉的团队和产品 「医槌定因」创始团队为跨学科复合背景:创始人李熙弋毕业于复旦大学临床医

    来源 AI 行业观察
  7. 菲律宾与SpaceX谈建发射场,马科斯证实在磋商

    【菲律宾盯上太空生意,欲引进SpaceX,马斯克会答应吗?】马斯克要把火箭发射场建到菲律宾去了?菲律宾总统马科斯亲自证实,菲律宾正在与SpaceX进行初步磋商,探讨在菲律宾建设商业航天发射场的可能性。11月20日,马科斯在深圳出席APEC会议期间透露了这一消息。不过,目前双方尚未敲定具体选址,也没有公布正式合作协议。菲

    来源 AI 行业观察
  8. 弘信电子:控股子公司签署7.45亿元算力技术服务协议

    36氪获悉,弘信电子公告,公司控股子公司无锡燧弘华创科技有限公司与客户Z公司签署《算力技术服务协议》,合同含税总金额为7.45亿元。无锡燧弘将向Z公司提供算力技术服务,服务期限至2028年1月29日。Z公司主要涉及具身智能及物理AI领域。

    来源 AI 行业观察
  9. DeepSeek-VL前负责人张博创业:高瓴投600万美元,押注低门槛大模型

    高瓴投了600万美元。一位DeepSeek早期核心成员,创业了。11月19日,DeepSeek-VL前项目负责人张博(Tony Zhang)宣布,其创办的AI公司Simplex AI正式开源个人智能体产品Linger。这款产品能在用户自己的电脑上运行,替人操作软件、处理邮件,甚至让多个AI助手共同完成任务。为了降低普通

    来源 腾讯网
  10. 张博开源Linger本地版Muse:个人电脑跑Agent,准确率95%

    智东西(公众号:zhidxcom)作者 | 黄菲编辑 | 江宇智东西11月20日报道,昨夜,前DeepSeek研究员、Simplex AI创始人张博(Tony Zhang)宣布开源个人Agent Linger,号称要让Agent摆脱对云端数据中心的依赖,直接运行在用户自己的电脑上。项目发布后迅速引发关注,GitHub星

    来源 腾讯网
向下滚动自动加载更多