块级扩展结构
在原有 Transformer 块之后追加新块并只训练新增部分，让新知识注入与旧语言能力解耦，便于控制灾难性遗忘。
价格官网未标价
平台—
归类大模型与开发平台
收录2026-10-11
复核2026-10-11
编辑评分
4.3 / 5
★★★★☆
LLaMA Pro编辑总结
LLaMA Pro 是在 LLaMA 基础上做过增量预训练与块级扩展的语言模型，重点强化编程、数学与智能代理类任务。它保留了原有语言能力，同时把新知识的注入限制在新增的模块里，减少对旧能力的干扰。对研究者来说，它是一个可以继续微调、做消融实验的底座；对工程团队来说，适合在推理与代码生成类场景里替代通用模型。它的短板也明显：部署与调参门槛偏高，且官方未公开可直接上手的量化与推理配置。
LLaMA Pro是什么？
LLaMA Pro 是由 Meta 系研究团队提出的模型扩展方案，做法是在原 LLaMA 的每一层 Transformer 块后追加新的块，再对这些新增部分做增量预训练。这样模型能在吸收新领域知识的同时，尽量不破坏原有的语言理解能力。
它的核心思路是「块级扩展」：原有块冻结或低学习率更新，新增块承担新知识，训练完成后整个模型可以像普通 LLaMA 一样加载与推理。
对研究者，它可以作为继续预训练和消融实验的起点；对开发者，可借助 Hugging Face 生态的 transformers 接口加载并做下游微调；对团队，适合在代码补全、数学解题、智能代理等任务上做二次开发。
LLaMA Pro核心功能
增量预训练
以原 LLaMA 权重为起点做增量预训练，适合在已有底座上追加特定领域语料，而不必从零训练。
代码与数学强化
训练目标偏向代码生成与数学推理类语料，用来处理结构化、需要多步推导的任务，比通用对话模型更对口。
兼容 Hugging Face 生态
权重与论文托管在 Hugging Face，可用 transformers 等常规工具链加载，便于接入已有的微调与推理脚本。
可继续微调
可作为下游任务的底座，做 LoRA、全参微调或指令微调，适合需要保留原模型结构的研究与工程项目。
LLaMA Pro使用建议
入门先把路子走对
- 先看论文再动手从论文页确认块级扩展的训练目标与数据构成，弄清新增块和原块的职责，再决定自己要改哪部分。
- 对齐 tokenizer加载权重时先确认 tokenizer 与原 LLaMA 是否一致，不一致会导致生成乱码或训练 loss 异常。
- 小规模验证推理先用单卡小 batch 跑通一次前向，确认显存占用和输出格式，再上多卡或分布式训练。
进阶省时间也省钱
- 冻结原块只训新块复现时把原有块冻结、只训练新增块，能显著降低显存开销，也更接近论文里的增量预训练设定。
- 增量微调替代全参领域适配优先考虑 LoRA 或只调新增块，避免全参微调把原有能力冲掉，也便于多任务切换。
- 按任务分底座代码与数学任务用它，通用对话仍交给原 LLaMA 或指令微调版本，分工比拼一个模型更稳。
- 记录数据配比做增量预训练时把代码、数学、通用语料的比例和采样策略记下来，便于复现和横向对比。
LLaMA Pro适合谁用？
大模型研究者
推荐研究增量预训练、灾难性遗忘和模型扩展策略，可直接以它的块级结构做消融实验。
代码生成方向团队
推荐需要代码补全、单元测试生成或代码解释的团队，可拿它做底座再做领域微调。
数学与推理应用开发者
推荐面向解题、符号推导等需要多步推理的场景，它的训练侧重与这类任务更接近。
追求开箱即用的产品团队
有条件需要直接调 API 或一键部署对话服务的团队，它需要自备权重与推理环境，接入成本偏高。
显存有限的个人开发者
有条件本地只有消费级显卡时，加载完整模型和做微调都会吃力，需先评估量化与分布式方案。
LLaMA Pro优点和缺点
优点
- 块级扩展让新知识注入与原能力解耦，便于控制遗忘
- 训练侧重代码与数学，适合结构化推理类任务
- 权重托管在 Hugging Face，可接入常规微调工具链
缺点
- 需要自行准备权重、显存与推理配置，接入门槛高
- 定位偏研究基座，缺少开箱即用的对话产品形态
LLaMA Pro常见问题
LLaMA Pro 和普通 LLaMA 有什么区别？＋
主要差别在结构上：它在原有每一层 Transformer 块之后追加了新的块，并且只对新增部分做增量预训练。这样新知识集中在新块里，原块的通用语言能力不容易被覆盖，适合在已有底座上追加代码、数学等特定领域能力。
它适合用来做哪些任务？＋
从训练侧重看，代码生成、数学推理和需要多步推导的智能代理类任务更对口。通用闲聊、文案创作这类场景用普通指令微调模型通常更省事，没必要绕一圈。
怎么在本地加载使用？＋
权重托管在 Hugging Face，可以用 transformers 一类库按常规 LLaMA 的方式加载。需要注意 tokenizer 要与原模型对齐，先用小 batch 验证前向和显存，再考虑多卡或分布式。
可以继续做微调吗？＋
可以把它当作底座做下游微调。实践中更推荐只训练新增块或使用 LoRA，既省显存，又能保留原有语言能力，避免全参微调把通用能力带偏。
显存不够怎么办？＋
可以先用小规模验证，再考虑只训练新增块、使用 LoRA 或做量化推理。具体需要多少显存取决于模型规模和 batch 设置，需要按自己的硬件实测。
LLaMA Pro竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| LLaMA Pro本工具 | 4.3 | 未标价 | 块级扩展结构；增量预训练；代码与数学强化；兼容 Hugging Face 生态 | — |
| MiscNinja | — | 未标价 | 先进的自然语言处理模型 | — |
| Meta-spirit-lm | — | 未标价 | 一个用于自然语言处理的先进模型 | — |
| OLMo 2 7B | — | 未标价 | 7B 参数的大型语言模型，提升自然语言处理能力 | — |
| Llama-3-Patronus-Lynx-8B-Instruct-Q4_K_M-GGUF | — | 未标价 | 基于特定模型的量化大型语言模型，适用于自然语言处理等任务 | — |
| OLMo-7B | — | 未标价 | 开源自然语言生成模型 | — |
