llama.cpp 迎来 1.0 正式版:断网本地跑满血大模型成真?
IT之家 11 月 14 日消息,开发者 Georgi Gerganov(X 账号为 @ggerganov)昨日(11 月 13 日)在 X 平台发布推文,宣布开源 AI 推理项目 llama.cpp 与底层机器学习引擎 ggml 的库版本迈入 1.0.0。IT之家查询公开资料,Gerganov 是开源项目 llama
开发者 Georgi Gerganov(X 账号 @ggerganov)11 月 13 日在 X 平台发推,宣布开源 AI 推理项目
llama.cpp 与底层机器学习引擎迎来 1.0 正式版。这条消息在 11 月 14 日引发关注。
公开资料显示,Gerganov 正是 llama.cpp 的创建者,whisper.cpp 等本地 AI 基础软件也出自他手。他的个人 X 简介标注为 Hugging Face 工程师,GitHub 资料所在地为保加利亚索非亚。
llama.cpp 主要用 C/C++ 编写,是一个开源 AI 推理项目,核心用途是让大语言模型跑在个人电脑、服务器等各类硬件上。本地部署可以用,云端服务同样可以用,目的在于把部署复杂度降下来,同时把设备的计算能力用足。
这次更新最受关注的一点,是把接口兼容性规则讲明白了:
| 项目 | 库 | 定位 |
|---|---|---|
| llama.cpp | libllama | C/C++ 大模型推理库 |
| ggml | lib ggml | 底层机器学习张量库 |
按照新规则,两者今后都通过主版本号升级来明确标记。
| 版本位 | 什么情况下更新 |
|---|---|
| MAJOR,例如 1.x.x → 2.0.0 | ./include 中公共 C API 出现破坏性变更;公告同时明确,API / ABI 不兼容会通过主版本升级体现 |
| MINOR,例如 1.0.x → 1.1.0 | 向后兼容的功能、后端更新、模型支持或 API 新增 |
| PATCH,例如 1.0.0 → 1.0.1 | 不改变 API 的 bug 修复 |
工程质量上,官方公告提到,为了跟上不断加快的开发节奏,团队把投入压在三个方向上:
- 使用 Hugging Face 的
- 在 NVIDIA、
- 开发流程中对 LLM 的使用保持审慎,代码质量、架构控制以及对实现细节的理解仍然排在首位。
后端与模型支持方面:ggml不同硬件通过专用后端来支撑;每个后端都能编译为
目前 llama.cpp 已支持超过 150 种模型架构变体及主流