Llama-3-8B-Instruct-Gradient-1048k

MODEL PROFILE模型资料

gradientai · 2024-04-29 发布 · 开源权重

无公开托管渠道

面向需要处理超长文本的开发者:gradientai 基于 Llama 3 8B Instruct 发布的开放权重文本模型,2024 年 4 月释出;该模型把长上下文能力放到 8B 这个部署门槛较低的规模上,适合自建长文档理解、检索增强和批量摘要流程。

模型介绍

该模型属于 Llama 3 系列的社区衍生版本,底座是 8B 参数的 Instruct 模型,由 gradientai 完成长上下文方向的适配并开放权重,许可证沿用 llama3。它要解决的是原始小尺寸 Instruct 模型上下文窗口偏窄的问题:长合同、整份财报、多篇召回文档或长对话记录往往无法一次装进提示,只能切块处理,容易丢失跨段信息。名称中的长上下文标识指向这一扩展方向。模型只接受文本输入并输出文本,不涉及图像或音频。8B 规模意味着单卡或单机即可部署,适合数据不便外传、需要在内部环境跑推理的团队。官方价格未公开,主流托管平台也尚未收录,公开评测数据缺失,实际效果需要结合自有语料自测。

选型建议需要在自有环境处理长文本、并能接受 8B 级别推理质量时可以选择它;追求高难度推理、成熟托管服务或明确评测背书时不宜作为首选。

Llama 3 衍生长上下文8B 小模型开源权重文本生成gradientai

关键指标

输入模态文本
HF 下载量32,616
HF 点赞683

适用场景

  • 把整份合同或财报一次性输入,做条款抽取与要点归纳
  • 在检索增强流程中承载多篇召回文档,生成带出处的答案
  • 对长会议记录、访谈稿做分段摘要与结构化整理
  • 在显存受限的内部环境中本地部署,处理不便外传的文档
  • 作为长上下文对照基线,与同规模短窗口模型做自测比较

暂无:上下文窗口、最大输出、知识截止、模型家族、输入价、输出价、缓存读价、缓存写价、推理、工具调用、结构化输出、附件、温度调节(上游未公开,本站不估算)。 没有任何平台收录,也没有公开报价:可能是自部署权重或尚未开放调用;发布 926 天。

规格与能力

上面没列到的字段

底座是 Llama 3 8B Instruct 的稠密 decoder-only Transformer,长上下文能力来自后续适配而非重新预训练;训练数据配比、位置编码处理方式等细节,公开资料较少。

  • 结构沿用 Llama 3 8B 的稠密自回归骨架,8B 参数量级便于单卡部署,长上下文能力通过后训练阶段扩展而来。
  • 能力仅支持文本输入与文本输出,不具备多模态理解;主要面向长文档问答、跨文件比对和长对话保持。
  • 披露gradientai 未公开上下文外推方法与评测细节,权重按 llama3 许可证开放,商用与再分发需逐条核对条款。
开源权重
是
许可证
llama3
参数规模
8B
能力 资料未标注

同系列其他规格

型号厂商参数上下文输入价输出价
Llama 3 8B Lunaris sao10k — 8.2K $0.04/M $0.05/M
Llama 3 8B Lunaris Sao10K — 8.2K $0.04/M $0.05/M
Llama-3-8b-Ita DeepMount00 8B — — —
llama-3-8b unsloth 8B — — —
llama-3-8b-Instruct unsloth 8B — — —

性能表现

官方与第三方评测数据均缺失,只能给出方向性判断,具体效果应以自有任务实测为准。

  • 强项相比同规模短窗口模型,它能一次容纳整篇长材料,减少切块带来的跨段信息丢失,适合长文抽取与摘要。
  • 短板8B 参数量在复杂推理、多步数学和代码生成上通常弱于更大模型;超长上下文的实际有效利用率需自行验证。
  • 适合以长文本理解、信息抽取、批量摘要为主的工程流程,尤其是对显存和延迟敏感、可接受质量折中的场景。

价格与性价比

结合各平台报价与同类对比

官方价格未公开,权重开放,成本主要由自建推理的算力占用与运维投入决定。

  • 定位开源权重模型,没有公开 API 报价,自托管时按显存占用与吞吐折算,成本随硬件和批处理策略浮动。
  • 横向对比与同系列 8B Instruct 相比侧重长上下文,与更大参数模型相比单次推理算力更低,但推理质量上限也更低。
  • 平台差价本站收录平台数为 0,暂无托管方报价可横向比较,若走第三方托管需自行询价并核对上下文计费方式。
  • 省钱长文档场景下采用批量推理、按需截断上下文并复用 KV 缓存,能明显压低单位 token 的实际开销。

关于 Llama-3-8B-Instruct-Gradient-1048k 的常见问题

2 条
Llama-3-8B-Instruct-Gradient-1048k 的 API 价格是多少?

当前资料未收录该模型的公开 API 价格:可能是未公开定价,或只提供自部署的开源权重。

Llama-3-8B-Instruct-Gradient-1048k 是开源模型吗?

Llama-3-8B-Instruct-Gradient-1048k 提供开源权重,可以自行下载部署,许可证为 llama3,HuggingFace 下载量 32,616。本站展示的价格是各托管平台对 API 调用的报价,自部署不计入。

使用注意

  • 口径能力项未标注、第三方跑分缺失,效果判断应以自有数据实测为准,不宜引用外部榜单或传闻数据。
  • 边界仅支持文本模态,8B 规模不适合高难度推理;llama3 许可证对商用、再分发和署名有约束,需逐条确认。

资料说明

本页资料由多个公开来源交叉整理:按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并, 冲突时取优先级高的来源。价格单位是美元 / 百万 tokens,为各平台对 API 调用的报价,不含自部署成本。 资料由公开来源整理,不代表 AiTest 已对该模型或其收录中转站做过真实性、稳定性或安全检测。

本页的模型介绍、架构、性能与性价比解读为 AI 综合公开信息整理,部分未经本站逐项核实;规格、价格与跑分以本页数据字段为准。

本页资料由多个公开来源交叉整理:按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并,冲突时取优先级高的来源;价格单位为美元 / 百万 tokens。