Llama 3.1 70B Instruct (US)

它属于 llama 系列，是这个家族里偏中等规模的指令微调版本，权重开源，同时通过 Amazon Bedrock 以托管 API 的形式提供。它主要解决两类问题：一是需要长上下文承载整份文档或多轮会话的场景，128K tokens 的窗口可以容纳相当多的材料；二是不希望自建推理集群、又想使用开源权重的团队，可以直接走云上接口，把运维交给平台。模型只处理文本，输入输出都是文本，单次输出上限 4096 tokens，知识截止到 2023 年 12 月。能力上支持工具调用和温度调节，适合把内部接口注册成函数交给模型编排。价格方面输入与输出同为 0.72 美元/百万 tokens，计费结构简单，长输出任务的成本比较容易预估。本站收录的平台只有一家，两处报价一致，没有缓存读取折扣。由于本站未收录该模型的公开跑分，选型时建议以自有评测集实测为准。

选型建议需要中等规模开源模型、看重长上下文与工具调用、又希望走托管 API 时选它；追求极低单价、需要图像输入或超长单次输出时换别的模型。

• 搭建长文档问答：把上百页合同或技术手册整体放入 128K 上下文，让模型定位条款并输出摘要
• 接入工具调用：将内部检索、工单、日历等接口注册为函数，由模型编排多步操作流程
• 批量做文本归类与抽取：把客服会话、用户评论整理成结构化字段，用温度调节控制输出稳定性
• 审阅代码与配置：让模型通读一组仓库文件并给出修改建议，长结论分多次索取
• 构建多轮客服助手：在 Bedrock 内托管调用，省去自建推理集群的部署与运维开销

沿用 Llama 系列一贯的解码器式 Transformer 路线，70B 参数属于中等规模，权重开放，托管调用与自建部署可以互为替代。

• 结构延续 Llama 系列的稠密解码器设计，参数量处于中等区间，既能承担多步指令任务，又不至于像超大模型那样对推理资源要求过高。
• 能力128K tokens 上下文搭配 4096 tokens 单次输出上限，支持工具调用与温度调节，适合长文档读取、多轮对话和函数式插件编排。
• 披露本站未收录该模型的公开跑分，架构与训练细节以其发布文档为准，此处不做数字层面的推断。

开源权重

是

模型家族

llama

本站没有可引用的第三方跑分，以下只依据规格与公开资料做定性判断，具体强弱需以自有评测集验证。

• 强项70B 规模在指令遵循和多步任务上通常优于同家族的 8B 版本，128K 上下文让整份合同、整套配置文档可以直接进提示。
• 短板单次输出上限 4096 tokens，长文生成需要分段续写；纯文本模态，图片与音频必须先转成文字才能处理。
• 适合需要稳定工具调用、中等推理强度、又不愿自建推理集群的对话、检索增强与文档分析类业务。

输入与输出同为 0.72 美元/百万 tokens，结构简单，成本估算的变量主要是上下文长度和输出轮次。

• 定位输入输出同价，没有读写分离的计费差，长输出任务的成本比输入输出分别定价的模型更容易预估。
• 横向对比同平台的 Llama 3.1 8B 比它便宜约 69%，Llama 3.3 70B 与之同价，Nova Micro 系列低约 95%，轻量请求可优先分流。
• 平台差价本站收录的两处报价一致，均为输入输出 0.72 美元/百万 tokens，没有缓存读取折扣，暂时不存在跨平台比价空间。
• 省钱把简单分类、短问答交给 8B 版本，只让 70B 处理复杂推理，并借 4096 tokens 的输出上限约束单次生成长度。

同一个模型在不同网关的报价可能不同。本页基准取官方口径 $0.72/M / $0.72/M（输入 / 输出，美元 / 百万 tokens），其余来源的差价在「相对输入价」列列出，供比价参考。

取上下文相近（约 0.5~2 倍）的同类主流模型；同厂商、同家族优先；价格差为相对本模型的输入价

• 口径本站未收录该模型的第三方跑分，能力描述均为定性判断，不构成量化结论，选型时应在自有数据上实测。
• 边界只接受文本输入、输出文本，知识截止 2023 年 12 月，此后的事实性问答可能过时；单次输出不超过 4096 tokens。

本页资料由多个公开来源交叉整理：按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并， 冲突时取优先级高的来源。价格单位是美元 / 百万 tokens，为各平台对 API 调用的报价，不含自部署成本。 资料由公开来源整理，不代表 AiTest 已对该模型或其收录中转站做过真实性、稳定性或安全检测。

本页的模型介绍、架构、性能与性价比解读为 AI 综合公开信息整理，部分未经本站逐项核实；规格、价格与跑分以本页数据字段为准。