Llama-3.1-8B-Instruct (Arkanecloud)

MODEL PROFILE模型资料

Eden AI · 2024-07-23 发布 · llama 家族 · 开源权重 · 1 家平台收录

资料长期未更新 返回厂商

Llama-3.1-8B-Instruct (Arkanecloud) 是 Eden AI 提供的 Llama 3.1 系列 8B 指令微调模型托管版本,面向需要长上下文、文本对话与工具调用的开发者,适合成本敏感的通用任务与轻量智能体搭建。

模型介绍

该模型属于 Llama 3.1 家族,是 8B 规模的指令微调版本,通过 Eden AI 以托管接口提供,底层由 Arkanecloud 承载。它要解决的核心问题是:在保持较低调用成本的前提下,提供一个支持超长上下文的通用文本模型。131072 tokens 的上下文窗口意味着可以一次性放入较长的文档、多轮对话历史或较大规模的代码片段;单次最大输出 4096 tokens,适合回答、摘要、结构化输出等中等长度生成任务。能力上标注了推理、工具调用与温度调节,说明它可以接入函数调用式的工作流,也能通过温度参数在稳定输出与发散生成之间调整。知识截止时间为 2023 年 12 月,涉及更新事件时需要外部检索补充。开源权重意味着可以自行部署或迁移,减少对单一服务商的绑定。

选型建议需要长上下文、低成本且以文本理解和工具调用为主时选它;追求高难度推理、多模态或最新知识时不适合。

Llama 3.18B 指令模型长上下文工具调用低成本开源权重文本生成

关键指标

官方输入价$0.15/M
官方输出价$0.15/M
缓存读 / 写$0.03/M / —
上下文窗口131.1K
最大输出4.1K
输入模态文本
知识截止2023-12
生成速度—
首字延迟 TTFT—
部署平台数1 家
AA 综合指数—
最后更新2024-07-23

适用场景

  • 搭建长文档问答与摘要流程,把整份报告或合同放入上下文后抽取要点
  • 为客服或内部知识库接入多轮对话,并用工具调用查询业务系统
  • 批量完成文本分类、信息抽取、改写与结构化输出等低成本任务
  • 作为轻量智能体的决策与调度模型,配合函数调用串联多个步骤
  • 在需要自行部署或迁移的场景中,基于开源权重做本地化验证

暂无:许可证、参数规模、缓存写价、结构化输出、附件(上游未公开,本站不估算)。 资料已 832 天没更新,规格与价格可能已变;发布 832 天。

规格与能力

上面没列到的字段

沿用 Llama 3.1 的稠密解码器结构,8B 参数量在能力与推理成本之间取平衡,指令微调版本针对对话与指令跟随做了对齐。

  • 结构基于 Llama 3.1 系列的稠密 Transformer 解码器,8B 规模,只处理文本输入与文本输出,不涉及多模态分支。
  • 能力支持工具调用与温度调节,配合 131072 tokens 上下文,适合把长文档与函数定义一起放入提示中完成多步任务。
  • 披露具体层数、注意力实现与训练 token 量等细节,本站未收录,公开资料对 8B 版本的细粒度说明有限。
开源权重
是
模型家族
llama
许可证
—
参数规模
—
能力 推理工具调用温度调节

性能表现

没有第三方跑分可引用,只能从参数规模、上下文与能力标注做定性判断:长上下文与工具调用是主要卖点,复杂推理不是强项。

  • 强项131072 tokens 上下文在同价位中较突出,长文档问答、多轮对话与批量文本处理不易被截断,工具调用便于搭建轻量工作流。
  • 短板8B 规模面对多步数学、复杂代码重构或高难度推理时稳定性弱于更大参数模型,知识截止 2023-12,时效性问题需检索补足。
  • 适合对延迟与成本敏感、任务以理解、抽取、改写、分类和简单代理执行为主的场景,比大模型更划算。

价格与性价比

结合各平台报价与同类对比

官方标价输入输出均为 0.15 美元/百万 tokens,缓存读 0.03 美元/百万 tokens,属于低价档位,但不同接入平台报价差异明显。

  • 定位输入输出同价的平价档,缓存读价格约为标准输入价的五分之一,适合高重复前缀的提示词复用场景。
  • 横向对比比同系列 70B 版本输入价低约八成以上,比 3B 版本贵,处于 8B 这一中间档,性能与成本折中。
  • 平台差价Requesty 报出 0.05 美元/百万 tokens,比官方价低约三分之二;models.dev 及 edenai 条目与官方价一致。
  • 省钱长系统提示或固定文档走缓存读,能显著压低重复调用成本;批量离线任务优先选低价平台并做好故障切换。

平台报价对比

3 个来源口径
Llama-3.1-8B-Instruct (Arkanecloud) 在各来源的输入 / 输出价格(美元 / 百万 tokens)
来源输入价输出价缓存读相对输入价
Requesty 更低 $0.05/M$0.05/M$0.05/M-66.7%
models.dev $0.15/M$0.15/M$0.03/M0.0%
models.dev · edenai $0.15/M$0.15/M$0.03/M0.0%

同一个模型在不同网关的报价可能不同。本页基准取官方口径 $0.15/M / $0.15/M(输入 / 输出,美元 / 百万 tokens),其余来源的差价在「相对输入价」列列出,供比价参考。

同类模型对比

5 条
Llama-3.1-8B-Instruct (Arkanecloud) 的同类模型对比
模型上下文输入价输出价输入价差AA 综合
Llama-3.1-70B-Instruct (Arkanecloud) 131.1K$0.8/M $0.8/M+433.3%—
Llama-3.2-11B-Vision-Instruct (Deep Infra) 131.1K$0.345/M $0.345/M+130.0%—
Llama 3.2 3B Instruct (Deep Infra) 131.1K$0.02/M $0.02/M-86.7%—
Llama-Guard-3-8B (Cloudflare) 131.1K$0.484/M $0.03/M+222.7%—
Llama-Guard-3-8B (Deep Infra) 131.1K$0.055/M $0.055/M-63.3%—

取上下文相近(约 0.5~2 倍)的同类主流模型;同厂商、同家族优先;价格差为相对本模型的输入价

关于 Llama-3.1-8B-Instruct (Arkanecloud) 的常见问题

5 条
Llama-3.1-8B-Instruct (Arkanecloud) 的 API 价格是多少?

当前收录的官方口径价格为输入 $0.15/M、输出 $0.15/M、缓存读 $0.03/M,单位为美元 / 百万 tokens。另外 Requesty 给出的输入价更低($0.05/M,-66.7%)。不同网关可能有自己的加价与折扣,实际计费以调用平台为准。

Llama-3.1-8B-Instruct (Arkanecloud) 支持多长的上下文?

资料显示上下文窗口 131.1K(131,072 tokens),单次最大输出 4.1K。实际可用长度还取决于调用平台的限制。

Llama-3.1-8B-Instruct (Arkanecloud) 是开源模型吗?

Llama-3.1-8B-Instruct (Arkanecloud) 提供开源权重,可以自行下载部署。本站展示的价格是各托管平台对 API 调用的报价,自部署不计入。

Llama-3.1-8B-Instruct (Arkanecloud) 支持哪些能力?

按当前资料,Llama-3.1-8B-Instruct (Arkanecloud) 支持推理、工具调用、温度调节。输入输出模态为 文本。

Llama-3.1-8B-Instruct (Arkanecloud) 可以在哪些平台调用?

当前资料显示该模型被 1 家 provider 或网关收录。本站核对的数据来源包括 models.dev、Requesty。收录数量只反映公开目录的部署面,不代表任何一家平台的服务质量。

使用注意

  • 口径本站未收录该模型的公开跑分,任何能力比较只能基于参数规模与上下文等结构性信息,不宜当作实测结论。
  • 边界仅支持文本输入输出,单次输出上限 4096 tokens,知识截止 2023-12,超出这些范围的需求需另作方案。

资料说明

本页资料由多个公开来源交叉整理:按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并, 冲突时取优先级高的来源。价格单位是美元 / 百万 tokens,为各平台对 API 调用的报价,不含自部署成本。 资料由公开来源整理,不代表 AiTest 已对该模型或其收录中转站做过真实性、稳定性或安全检测。

本页的模型介绍、架构、性能与性价比解读为 AI 综合公开信息整理,部分未经本站逐项核实;规格、价格与跑分以本页数据字段为准。

本页资料由多个公开来源交叉整理:按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并,冲突时取优先级高的来源;价格单位为美元 / 百万 tokens。