Llama-3-8B-Instruct-Gradient-1048k
MODEL PROFILE模型资料gradientai · 2024-04-29 发布 · 开源权重
面向需要处理超长文本的开发者:gradientai 基于 Llama 3 8B Instruct 发布的开放权重文本模型,2024 年 4 月释出;该模型把长上下文能力放到 8B 这个部署门槛较低的规模上,适合自建长文档理解、检索增强和批量摘要流程。
模型介绍
该模型属于 Llama 3 系列的社区衍生版本,底座是 8B 参数的 Instruct 模型,由 gradientai 完成长上下文方向的适配并开放权重,许可证沿用 llama3。它要解决的是原始小尺寸 Instruct 模型上下文窗口偏窄的问题:长合同、整份财报、多篇召回文档或长对话记录往往无法一次装进提示,只能切块处理,容易丢失跨段信息。名称中的长上下文标识指向这一扩展方向。模型只接受文本输入并输出文本,不涉及图像或音频。8B 规模意味着单卡或单机即可部署,适合数据不便外传、需要在内部环境跑推理的团队。官方价格未公开,主流托管平台也尚未收录,公开评测数据缺失,实际效果需要结合自有语料自测。
选型建议需要在自有环境处理长文本、并能接受 8B 级别推理质量时可以选择它;追求高难度推理、成熟托管服务或明确评测背书时不宜作为首选。
关键指标
适用场景
- 把整份合同或财报一次性输入,做条款抽取与要点归纳
- 在检索增强流程中承载多篇召回文档,生成带出处的答案
- 对长会议记录、访谈稿做分段摘要与结构化整理
- 在显存受限的内部环境中本地部署,处理不便外传的文档
- 作为长上下文对照基线,与同规模短窗口模型做自测比较
暂无:上下文窗口、最大输出、知识截止、模型家族、输入价、输出价、缓存读价、缓存写价、推理、工具调用、结构化输出、附件、温度调节(上游未公开,本站不估算)。 没有任何平台收录,也没有公开报价:可能是自部署权重或尚未开放调用;发布 926 天。
规格与能力
上面没列到的字段底座是 Llama 3 8B Instruct 的稠密 decoder-only Transformer,长上下文能力来自后续适配而非重新预训练;训练数据配比、位置编码处理方式等细节,公开资料较少。
- 结构沿用 Llama 3 8B 的稠密自回归骨架,8B 参数量级便于单卡部署,长上下文能力通过后训练阶段扩展而来。
- 能力仅支持文本输入与文本输出,不具备多模态理解;主要面向长文档问答、跨文件比对和长对话保持。
- 披露gradientai 未公开上下文外推方法与评测细节,权重按 llama3 许可证开放,商用与再分发需逐条核对条款。
- 开源权重
- 是
- 许可证
- llama3
- 参数规模
- 8B
同系列其他规格
| 型号 | 厂商 | 参数 | 上下文 | 输入价 | 输出价 |
|---|---|---|---|---|---|
| Llama 3 8B Lunaris | sao10k | — | 8.2K | $0.04/M | $0.05/M |
| Llama 3 8B Lunaris | Sao10K | — | 8.2K | $0.04/M | $0.05/M |
| Llama-3-8b-Ita | DeepMount00 | 8B | — | — | — |
| llama-3-8b | unsloth | 8B | — | — | — |
| llama-3-8b-Instruct | unsloth | 8B | — | — | — |
性能表现
官方与第三方评测数据均缺失,只能给出方向性判断,具体效果应以自有任务实测为准。
- 强项相比同规模短窗口模型,它能一次容纳整篇长材料,减少切块带来的跨段信息丢失,适合长文抽取与摘要。
- 短板8B 参数量在复杂推理、多步数学和代码生成上通常弱于更大模型;超长上下文的实际有效利用率需自行验证。
- 适合以长文本理解、信息抽取、批量摘要为主的工程流程,尤其是对显存和延迟敏感、可接受质量折中的场景。
价格与性价比
结合各平台报价与同类对比官方价格未公开,权重开放,成本主要由自建推理的算力占用与运维投入决定。
- 定位开源权重模型,没有公开 API 报价,自托管时按显存占用与吞吐折算,成本随硬件和批处理策略浮动。
- 横向对比与同系列 8B Instruct 相比侧重长上下文,与更大参数模型相比单次推理算力更低,但推理质量上限也更低。
- 平台差价本站收录平台数为 0,暂无托管方报价可横向比较,若走第三方托管需自行询价并核对上下文计费方式。
- 省钱长文档场景下采用批量推理、按需截断上下文并复用 KV 缓存,能明显压低单位 token 的实际开销。
关于 Llama-3-8B-Instruct-Gradient-1048k 的常见问题
2 条Llama-3-8B-Instruct-Gradient-1048k 的 API 价格是多少?
当前资料未收录该模型的公开 API 价格:可能是未公开定价,或只提供自部署的开源权重。
Llama-3-8B-Instruct-Gradient-1048k 是开源模型吗?
Llama-3-8B-Instruct-Gradient-1048k 提供开源权重,可以自行下载部署,许可证为 llama3,HuggingFace 下载量 32,616。本站展示的价格是各托管平台对 API 调用的报价,自部署不计入。
使用注意
- 口径能力项未标注、第三方跑分缺失,效果判断应以自有数据实测为准,不宜引用外部榜单或传闻数据。
- 边界仅支持文本模态,8B 规模不适合高难度推理;llama3 许可证对商用、再分发和署名有约束,需逐条确认。
资料说明
本页资料由多个公开来源交叉整理:按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并, 冲突时取优先级高的来源。价格单位是美元 / 百万 tokens,为各平台对 API 调用的报价,不含自部署成本。 资料由公开来源整理,不代表 AiTest 已对该模型或其收录中转站做过真实性、稳定性或安全检测。
本页的模型介绍、架构、性能与性价比解读为 AI 综合公开信息整理,部分未经本站逐项核实;规格、价格与跑分以本页数据字段为准。
本页资料由多个公开来源交叉整理:按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并,冲突时取优先级高的来源;价格单位为美元 / 百万 tokens。