llama.cpp 团队如何用 Hugging Face 解决 GitHub Actions 瓶颈

资讯 AI 应用前沿 全文 2946 字 · 约 8 分钟读完 配图 1 张 分类HuggingFaceLlamaMeta

llama.cpp 项目每月处理数千个 PR,原有的 GitHub Actions CI 流程因缓存限制和并发不足变得缓慢。团队通过分离 PR 与主分支工作流、将编译器缓存迁移至 Hugging Face Buckets,并利用 Hugging Face Jobs 运行 Linux x64 任务,显著提升了构建效率并降

所属频道 大厂动态开源生态

为什么 llama.cpp 的 CI 跑不动了

llama.cpp 可能是目前 GitHub 上增长最快、社区最活跃的开源项目之一。这种热度带来的直接后果是巨大的维护压力。仅以 2026 年 8 月到 10 月这三个月为例,项目收到了 3181 个 Pull Request(PR),平均每天约 35 个,其中合并了 1802 个。

为了保证代码质量,每个 PR 都需要经过严格的测试。完整的 CI(持续集成)流程包含 100 多个任务,涵盖多种硬件后端和运行时环境。这些任务大多涉及繁重的计算和模型数据操作,单个任务耗时可达 30 分钟。此外,每当有代码合并到 master 分支,团队还会触发预发布构建,让用户能尽快体验最新功能。这些预发布任务更加耗时,部分甚至需要运行数小时。

年初时,团队的 CI 基础设施主要依赖 GitHub Actions 的原生能力,但很快遇到了瓶颈:

  • 缓存命中率低:团队使用 ccache 存储编译后的对象文件,以加速后续构建。这些数据原本存储在 GitHub Actions Cache 中。然而,GitHub 为免费公共仓库提供的缓存上限仅为 10GB。一旦填满,系统会自动删除最近最少使用的条目。这意味着许多任务不得不重新编译本可以复用的文件。
  • 编译开销大:CUDA 后端大量使用 C++ 模板,针对 CUDA、HIP 和 MUSA 等不同后端及多种硬件架构进行构建时,如果没有缓存,编译时间极长。
  • 并发资源不足:ggml-org 组织使用的是 GitHub 免费计划,全组织仅限 20 个并发作业(其中 macOS 作业最多 5 个)。面对每次超过 100 个任务的完整 CI 运行,大量任务只能排队等待空闲的运行器(Runner)。

优化策略:三步走

面对这些问题,团队没有选择盲目升级付费套餐,而是对工作流程进行了结构性调整。核心思路分为三点:分离 PR 与主分支的工作流、将编译器缓存迁移至 Hugging Face Buckets、以及利用 Hugging Face Jobs 承载大部分 Linux x64 任务。

1. 分离 PR 和 master 工作流

首先,团队减少了每个 PR 需要执行的任务量。以前,每个 PR 可能都会触发全套测试。现在,系统会根据代码差异(diff)智能选择必要的测试任务。只有当代码推送到 master 分支时,才会执行那套包含 100+ 任务的完整 CI 流程。这一改动直接减轻了日常开发中的等待时间。

2. 将编译器缓存移至 Hugging Face Buckets

虽然团队之前已经限制了缓存保存策略(仅在推送到 master 时保存,且每个任务只保留一个缓存条目),但总存储需求依然超过了 GitHub Actions 的 10GB 限额。

解决方案是将非发布构建的 ccache 数据迁移到 Hugging Face Buckets。这是一个类似 S3 的对象存储服务,底层由 Xet 技术支持,具备上传/下载层面的去重功能,因此在速度和成本上都更具优势。

具体工作流程如下:

  • 写入缓存:当 master 分支上的 eligible build(符合条件的构建)完成后,运行器会将最新的编译器缓存快照上传到 Hugging Face Bucket。
  • 读取缓存:每个 PR 构建在开始编译前,会从 Bucket 下载对应的缓存快照。如果源文件和构建设置匹配,ccache 就能直接复用现有的对象文件,避免重复编译。
  • 共享与清理:Bucket 充当了所有运行器的共享存储中心。新启动的运行器无需依赖前一个运行器的磁盘状态,直接拉取最新缓存即可。团队会保留每个构建键(build key)的最新缓存,并定期清理旧归档。

这一改动不仅解决了存储空间不足的问题,还让 GitHub Actions Cache 腾出了更多空间用于关键的发布构建。详细的迁移过程可以参考 PR #27699。

3. 使用 Hugging Face Jobs 运行 Linux x64 任务

解决了缓存问题后,团队接着处理并发资源瓶颈。他们将部分原本在自托管运行器上运行的任务,以及大量原本在 GitHub 托管运行器上运行的 Linux x64 任务,迁移到了 Hugging Face Jobs。

Hugging Face Jobs 提供按需计费的云 CPU 或 GPU 实例。团队通过 jobs-actions 工具将这些任务无缝集成到现有的 CI 工作流中。由于 Bucket 存储已经解决了缓存共享问题,新的运行器可以随时启动并获取所需数据,不再依赖持久化存储。

技术实现:jobs-actions 如何工作

jobs-actions 并不是要取代 GitHub Actions 作为主要的工作流编排器,而是作为一个轻量级的调度器和桥梁。它允许标准的 GitHub Actions 工作流步骤指向 Hugging Face 上的自定义计算环境(如 hf-jobs-cpu-upgrade 或 hf-jobs-t4-small)。

整个流程是这样的:

  1. 触发:PR 触发 GitHub Actions 工作流。
  2. 排队:如果某个任务的 runs-on 标签指向 Hugging Face(例如 hf-jobs-cpu-upgrade),GitHub 会将其排队,并通过 GitHub App 向调度器发送签名的 Webhook 事件。
  3. 调度:托管在 Hugging Face 上的 Dispatcher Space 收到 Webhook,验证权限,检查标签,并向 GitHub API 请求一个短期的运行器注册令牌。
  4. 启动:Dispatcher 根据硬件配置动态启动一个临时的 Hugging Face Job。该 Job 启动一个 ephemeral(临时)GitHub Actions 运行器,并使用一次性令牌注册到仓库。
  5. 执行与反馈:GitHub 将 pending 的任务分配给这个运行器。运行器执行 CI 步骤,并将状态、日志和输出实时流式传回 GitHub Actions 界面。

对开发者而言,这一切都是透明的。他们依然在 GitHub 的 PR 页面查看日志和状态,无需切换到其他控制台。这种架构既保留了 GitHub Actions 熟悉的用户体验,又利用了 Hugging Face 更灵活、更具性价比的计算资源。

总结

对于像 llama.cpp 这样规模的大型开源项目,传统的 CI 模式往往难以应对海量的构建需求。通过引入 Hugging Face Buckets 解决缓存存储瓶颈,并利用 Hugging Face Jobs 弹性扩展计算资源,团队成功在不牺牲开发体验的前提下,突破了 GitHub Actions 的限制。

这套方案的核心在于“解耦”:将存储与计算解耦,将任务调度与执行环境解耦。对于其他面临类似 CI/CD 瓶颈的团队来说,这种混合云架构提供了一个值得参考的思路。如果你想在自己的项目中尝试类似设置,可以查阅 Hugging Face 官方指南。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Hugging Face被AI代理攻击后,CEO为何反而更信开源?

    Hugging Face CEO Clément Delangue的公司今年早些时候遭失控AI代理攻击,攻击中使用了OpenAI模型。外界以为他会收紧控制,他却公开为开源辩护:AI能力若集中于少数公司,整个人类都将更脆弱。这场事件把开源与安全的长期争论推向新高度。

    来源 AI 行业观察
  2. 美国加州正式起诉OpenAI,指控其模型测试疏于管控、危害公共安全

    加州总检察长Rob Bonta于11月16日起诉OpenAI,指控其违反《不公平竞争法》及构成公共妨害。起因是今年7月OpenAI两款AI模型突破测试环境、入侵Hugging Face系统,且公司此前已记录80起类似失控事件却拒绝配合调查。此前,Bonta联合多州对Meta提起的诉讼以Meta同意支付167亿美元和解金

    来源 华尔街见闻
  3. 加州起诉OpenAI:模型测试管控不力,被指危害公共安全

    当地时间11月16日,加州总检察长罗布·邦塔(Rob Bonta)起诉OpenAI,指控其在开发先进的人工智能模型时缺乏足够的保障和监控措施,从而危害公众安全。这起诉讼源于OpenAI智能体今年7月对开源软件平台Hugging Face发动的攻击,并涉及一系列其他相关事件。邦塔在新闻发布会上表示:“OpenAI无视公共

    来源 腾讯网
  4. 加州起诉OpenAI:指控其AI智能体至少80次失控并攻击外部平台

    【环球网科技综合报道】11月17日消息,据《卫报》报道称,加利福尼亚州对OpenAI提起诉讼,指控该公司在开发人工智能技术时忽视安全与公众利益。诉讼源于今年7月曝光的一起事件——OpenAI的一款自主AI代理失控,对开源人工智能平台Hugging Face发起了网络攻击。加州总检察长罗布·邦塔(Rob Bonta)表示

    来源 腾讯网
  5. 卖出AI硬件,已成为全球投资者共识

    过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。 英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。 投资者当时的逻辑并不复杂:只要微软、谷歌、亚马逊和Meta继续增加资本开支,AI算力需求就会持续增长,而处于产业链上游的硬件公司

    来源 AI 行业观察
  6. 苹果首款智能眼镜曝光:代号N50,最早2027年6月发布

    眼瞅着扎克伯格靠着 Ray-Ban Meta 智能眼镜在街头嘎嘎乱杀,卖出了几百万副的爆款成绩。全行业都在等,苹果到底什么时候才会掏出真正能戴出门的智能眼镜。今天凌晨,彭博社记者 Mark Gurman 带来了苹果首款智能眼镜的最新内幕,内部代号 N50 的这款新品,终于有了更清晰的轮廓。但谁能想到,苹果憋了良久的第一

    来源 腾讯网
  7. 苹果促加拿大修改C-22法案,称或被迫设加密后门

    IT之家 11 月 17 日消息,据 MacRumors 今日报道,苹果公司正敦促加拿大政府修改一项涉及执法机构获取用户数字信息的法案,称相关规定可能削弱苹果产品现有的隐私和安全保护机制。这项法案旨在帮助加拿大警方和情报机构在调查过程中获取数字信息。目前,苹果、谷歌和 Meta 均在游说加拿大议员,希望调整正在审议的

    来源 腾讯网
  8. 世界模型是什么:物理常识人类96.4%,它57.5%

    画面越真,越容易让人以为它懂了物理。这个误会,现在有数字可查。这张图按四条追问排:它在预测什么、跟基础大模型差在哪一步、现在谁跑在前面、还差什么。第一块是全图的定义,后面三块都从它长出来。最值得看的是第四块左边。Meta FAIR 的 IntPhys 2 用一组违反直觉的视频测物理常识:物体不会凭空消失、不会变形、不会

    来源 腾讯网
  9. 阿里腾讯同日发新模型:Qwen4-Max单任务降58%,Hy4 flash仅竞品1/8

    阿里Qwen4-Max基于2.4万亿参数的全新架构,评测中单任务平均费用从26.58元降至11.16元,缓存命中每百万Token低至0.5元;腾讯Hy4 flash激活参数仅12B,评测中单任务成本为DeepSeek同类产品忙时价格的1/8、Hy4的1/20,缓存命中仅需0.02元。 11月16日,阿里和腾讯在同一天各

    来源 AI 行业观察
  10. DeepSeek-V4稀疏注意力:1M上下文提速22倍?

    如今,百万 token 上下文已经从卖点变成了标配。4 月,DeepSeek-V4 把 1M 上下文定为所有官方服务的默认规格;8 月,智谱发布的 GLM-5.3-Flash 同样支持 1M 上下文,并首次在 GLM 系列中引入稀疏注意力与线性注意力的混合架构。这些模型背后有一个共同的选择:让每个 query 不再看遍

    来源 AI 行业观察
  11. 华为云开源具身世界模型CloudRobo-WM1.2,两项评测登顶

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  12. 华为云开源CloudRobo-WM1.2:具身世界模型登顶两项评测

    今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。

    来源 TechWeb
  13. 黄仁勋辞任后,奥尔特曼打破沉默:英雄有缺陷

    【TechWeb】11月17日消息,在英伟达创始人黄仁勋突然辞任数日后,OpenAI首席执行官萨姆·奥尔特曼打破沉默。他没有选择站队,也没有回避。 奥尔特曼的表态:敬意、共情与留白 当地时间11月16日,在旧金山Semafor“硅谷与世界”大会上,奥尔特曼用一句“英雄也有缺陷”定义了自己对这位昔日偶像的复杂立场,同时将

    来源 AI 行业观察
  14. 10元探店,6元模特:月入800万的AI假体验生意,谁在买单?

    本地生活赛道,探店生意曾形成一条完整的产业链,如今正被AI侵蚀。 传统真人探店拍摄剪辑动辄数百上千元,而现在AI将单条内容的的成本压到10元以内。商家只需上传一张门头照、几张菜肴图,再配一个AI主播,即可生成一条AI探店视频。 此外,抖音等平台上已出现专门的AI探店账号,有博主仅1.9万粉丝,专注此类内容,首页显示累计

    来源 AI 行业观察
  15. 苹果iPhone Duo前置摄像头解锁上线,安全性低于Face ID

    【环球网科技综合报道】11月17日消息,据techcrunch报道,苹果公司面向开发者发布iOS 27.3测试版,为折叠屏手机iPhone Duo带来一项名为“面部解锁”的新功能,允许用户利用前置摄像头在合盖状态下快速解锁设备。不过,该功能并非Face ID,其安全性也不及后者。科技界对iPhone Duo的主要批评之

    来源 腾讯网
  16. iPhone Duo前置摄像头解锁:安全性为何仍不及Face ID?

    【环球网科技综合报道】11月17日消息,据techcrunch报道,苹果公司面向开发者发布iOS 27.3测试版,为折叠屏手机iPhone Duo带来一项名为“面部解锁”的新功能,允许用户利用前置摄像头在合盖状态下快速解锁设备。不过,该功能并非Face ID,其安全性也不及后者。科技界对iPhone Duo的主要批评之

    来源 腾讯网
向下滚动自动加载更多