Llama-3.1-70B-Instruct (Arkanecloud)

MODEL PROFILE模型资料

Eden AI · 2024-07-23 发布 · llama 家族 · 开源权重 · 1 家平台收录

资料长期未更新 返回厂商

Llama-3.1-70B-Instruct (Arkanecloud) 是 Eden AI 平台上线的 Meta Llama 3.1 系列 70B 指令微调模型,权重开放,支持 131072 tokens 长上下文与工具调用,面向需要通用文本生成、长文档理解与轻量 Agent 编排的开发团队。

模型介绍

该模型属于 Meta 的 llama 家族,是 Llama 3.1 一代的 70B 指令微调版本,由 Eden AI 以 Arkanecloud 名义提供托管调用,权重开放,也可自行部署。它解决的是中等偏高难度的通用文本任务:单次可读入 131072 tokens 的长材料,单次最多输出 4096 tokens,支持工具调用与温度调节,知识截止到 2023 年 12 月,输入输出均为纯文本。定位上,它填补了同系列 8B、3B 小模型与更大规模模型之间的空档:小模型便宜但复杂指令遵循偏弱,70B 在这一档给出更稳的推理与格式遵从,代价是单价更高。对已有 Llama 工具链、想在不更换模型家族的前提下提升质量的团队,这类托管版本省去了自建推理集群的运维成本。

选型建议需要开放权重、长上下文与工具调用的通用文本任务可以选它;追求多模态、单次超长输出或极致低单价时应换方案。

Llama 3.170B长上下文工具调用开放权重文本生成

关键指标

官方输入价$0.8/M
官方输出价$0.8/M
缓存读 / 写$0.16/M / —
上下文窗口131.1K
最大输出4.1K
输入模态文本
知识截止2023-12
生成速度—
首字延迟 TTFT—
部署平台数1 家
AA 综合指数—
最后更新2024-07-23

适用场景

  • 搭建长文档问答:把上百页手册或年报放进 131072 tokens 上下文做抽取式问答与跨章节比对
  • 编排轻量 Agent:用工具调用串联检索、计算与写回动作,配合温度调节稳定输出格式
  • 做结构化信息抽取:从合同、工单、邮件中抽取字段并输出 JSON,交给下游系统消费
  • 批量文本改写与润色:低温度下做风格统一的批量改写,高温度下产出多个候选版本
  • 作为 RAG 生成端:固定系统提示走缓存读压低单价,长上下文容纳多段召回结果

暂无:许可证、参数规模、缓存写价、推理、结构化输出、附件(上游未公开,本站不估算)。 资料已 832 天没更新,规格与价格可能已变;发布 832 天。

规格与能力

上面没列到的字段

沿用 Llama 3.1 一代的稠密解码器结构,70B 参数量级落在质量与开销的中间档,开放权重让同一套模型既能托管调用也能私有部署。

  • 结构Llama 3.1 系列的稠密解码器架构,70B 参数量级在生成质量与显存开销之间取中,开放权重既可自建也能走托管 API。
  • 能力原生 131072 tokens 上下文配合工具调用与温度调节,可在同一会话内完成长文档阅读、多轮函数调用与输出风格控制。
  • 披露Eden AI 未公开层数、注意力实现等细节,也没有配套技术报告可对照,架构层面的进一步拆解公开资料较少,不宜做精确断言。
开源权重
是
模型家族
llama
许可证
—
参数规模
—
能力 工具调用温度调节

性能表现

定性看,70B 规模让它在通用文本理解、多步指令遵循和工具调用上明显强于同系列小模型;由于缺少公开跑分,实际水平需以自有样本实测为准。

  • 强项长上下文与指令遵循是主要卖点,131072 tokens 窗口适合整篇文档阅读、跨章节比对,工具调用可支撑检索加执行的简单 Agent 流程。
  • 短板只处理纯文本,无视觉输入;单次输出上限 4096 tokens,长篇连续写作要分段续写;知识截止 2023-12,时效性问题需外接检索。
  • 适合中等复杂度推理、RAG 问答、结构化抽取与批量改写这类对格式遵从要求高、对首字延迟不极端的生产任务。

价格与性价比

结合各平台报价与同类对比

输入输出同价、缓存读大幅低于输入价,是这套报价最值得注意的两点;同系列小模型便宜得多,选型本质是为推理质量付溢价。

  • 定位输入 0.8 美元/百万 tokens、输出 0.8 美元/百万 tokens,缓存读 0.16 美元/百万 tokens,属 70B 级别的中档价位,长上下文不额外加价。
  • 横向对比同系列 8B 输入价低约 81.2%,3B 低约 97.5%,Guard 与视觉版本也更便宜;溢价换来的是 70B 的推理与指令遵循能力。
  • 平台差价当前仅 1 家平台供货,models.dev 的两条记录报价一致,跨平台比价没有空间,也不存在可切换的低价渠道。
  • 省钱固定系统提示与知识库走缓存读,成本可降到输入价的五分之一;简单分类、短改写降级给 8B,把 70B 留给难样本。

平台报价对比

2 个来源口径
Llama-3.1-70B-Instruct (Arkanecloud) 在各来源的输入 / 输出价格(美元 / 百万 tokens)
来源输入价输出价缓存读相对输入价
models.dev $0.8/M$0.8/M$0.16/M0.0%
models.dev · edenai $0.8/M$0.8/M$0.16/M0.0%

同一个模型在不同网关的报价可能不同。本页基准取官方口径 $0.8/M / $0.8/M(输入 / 输出,美元 / 百万 tokens),其余来源的差价在「相对输入价」列列出,供比价参考。

同类模型对比

5 条
Llama-3.1-70B-Instruct (Arkanecloud) 的同类模型对比
模型上下文输入价输出价输入价差AA 综合
Llama-3.1-8B-Instruct (Arkanecloud) 131.1K$0.15/M $0.15/M-81.2%—
Llama-3.2-11B-Vision-Instruct (Deep Infra) 131.1K$0.345/M $0.345/M-56.9%—
Llama 3.2 3B Instruct (Deep Infra) 131.1K$0.02/M $0.02/M-97.5%—
Llama-Guard-3-8B (Cloudflare) 131.1K$0.484/M $0.03/M-39.5%—
Llama-Guard-3-8B (Deep Infra) 131.1K$0.055/M $0.055/M-93.1%—

取上下文相近(约 0.5~2 倍)的同类主流模型;同厂商、同家族优先;价格差为相对本模型的输入价

关于 Llama-3.1-70B-Instruct (Arkanecloud) 的常见问题

5 条
Llama-3.1-70B-Instruct (Arkanecloud) 的 API 价格是多少?

当前收录的官方口径价格为输入 $0.8/M、输出 $0.8/M、缓存读 $0.16/M,单位为美元 / 百万 tokens。不同网关可能有自己的加价与折扣,实际计费以调用平台为准。

Llama-3.1-70B-Instruct (Arkanecloud) 支持多长的上下文?

资料显示上下文窗口 131.1K(131,072 tokens),单次最大输出 4.1K。实际可用长度还取决于调用平台的限制。

Llama-3.1-70B-Instruct (Arkanecloud) 是开源模型吗?

Llama-3.1-70B-Instruct (Arkanecloud) 提供开源权重,可以自行下载部署。本站展示的价格是各托管平台对 API 调用的报价,自部署不计入。

Llama-3.1-70B-Instruct (Arkanecloud) 支持哪些能力?

按当前资料,Llama-3.1-70B-Instruct (Arkanecloud) 支持工具调用、温度调节。输入输出模态为 文本。

Llama-3.1-70B-Instruct (Arkanecloud) 可以在哪些平台调用?

当前资料显示该模型被 1 家 provider 或网关收录。本站核对的数据来源包括 models.dev。收录数量只反映公开目录的部署面,不代表任何一家平台的服务质量。

使用注意

  • 口径本站未收录该模型的第三方跑分,能力描述只能基于架构与公开权重资料做定性判断,具体强弱需用自有业务样本实测。
  • 边界纯文本输入输出、知识截止 2023-12、单次输出上限 4096 tokens,且仅一家平台供应,长文一次成稿与多模态需求都不适配。

资料说明

本页资料由多个公开来源交叉整理:按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并, 冲突时取优先级高的来源。价格单位是美元 / 百万 tokens,为各平台对 API 调用的报价,不含自部署成本。 资料由公开来源整理,不代表 AiTest 已对该模型或其收录中转站做过真实性、稳定性或安全检测。

本页的模型介绍、架构、性能与性价比解读为 AI 综合公开信息整理,部分未经本站逐项核实;规格、价格与跑分以本页数据字段为准。

本页资料由多个公开来源交叉整理:按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并,冲突时取优先级高的来源;价格单位为美元 / 百万 tokens。