Llama3-ChatQA-1.5-8B

MODEL PROFILE模型资料

NVIDIA · 2024-04-28 发布 · 开源权重

无公开托管渠道 返回厂商

面向多轮对话式问答与检索增强场景的开源文本模型:以 Llama 3 8B 为底座的社区后训练版本,由 NVIDIA 发布,适合希望自行部署、把文档问答链路握在自己手里的团队。

模型介绍

Llama3-ChatQA-1.5-8B 属于 ChatQA 系列的 1.5 代,2024 年 4 月由 NVIDIA 发布,权重开源,许可证沿用 llama3。它要解决的是通用对话模型在「基于给定材料做多轮问答」上的短板:用户连续追问时,指代容易丢失,检索到的段落也难以被稳定地用进回答。该模型在 Llama 3 8B 基础上针对这类任务做了后训练,目标形态是把检索结果与对话历史一起放进输入,再输出有依据的答复。8B 的体量意味着推理资源门槛不高,可以在自有环境里部署,配合自建检索管线使用。输入输出均为文本,不含多模态能力;官方价格未公开,目前也没有第三方平台托管该模型,公开跑分同样缺失。因此它更像一个可以拿来做 RAG 链路验证与二次微调的基座,而非开箱即用的通用助手。

选型建议需要自托管、以文档问答为核心且对推理成本敏感时选它;要现成 API、通用对话或多模态能力时不选。

开源模型对话问答检索增强Llama 38BNVIDIA

关键指标

输入模态文本
HF 下载量12,476
HF 点赞558

适用场景

  • 搭建企业内部文档问答,把手册与知识库接入检索,完成多轮追问式作答
  • 在客服机器人中加入「基于给定材料回答」的约束,减少无依据的自由发挥
  • 在单机或小规模集群部署本地问答服务,验证 RAG 链路是否跑得通
  • 用于对话式检索中的问题改写与指代消解实验,配合自建检索器迭代
  • 作为 8B 级别的对照基线,与自研微调版本在同条件下比较效果与成本

暂无:上下文窗口、最大输出、知识截止、模型家族、输入价、输出价、缓存读价、缓存写价、推理、工具调用、结构化输出、附件、温度调节(上游未公开,本站不估算)。 没有任何平台收录,也没有公开报价:可能是自部署权重或尚未开放调用;发布 927 天。

规格与能力

上面没列到的字段

沿用 Llama 3 8B 的 decoder-only 文本架构,改造重点不在结构,而在面向对话式问答的后训练流程。

  • 结构以 Llama 3 8B 为基座,保持标准的纯文本自回归结构,参数量 8B,未做多模态扩展。
  • 能力后训练围绕多轮问答展开,把检索段落与对话历史一并作为条件输入,输出有材料依据的答复。
  • 披露训练数据配比、上下文长度等细节在本站事实中没有给出,公开资料较少,选型前建议核对官方模型卡。
开源权重
是
许可证
llama3
参数规模
8B
能力 资料未标注

同系列其他规格

型号厂商参数上下文输入价输出价
Llama-3-SauerkrautLM-8b-Instruct VAGOsolutions 8B — — —
Llama3-Chinese-8B-Instruct FlagAlpha 8B — — —
Llama 3 Instruct 70B Meta — — $0.65/M $2.75/M
Llama 3 Instruct 8B Meta — — $0.045/M $0.145/M

性能表现

没有可引用的公开跑分,只能从其设计目标与底座规格判断适用区间。

  • 强项针对「给定材料 + 连续追问」的任务形态做过后训练,在文档问答与对话式检索中更贴合实际流程。
  • 短板公开跑分缺失,通用知识、复杂推理与多语言表现都没有可对照数据,不宜按榜单结论做选型。
  • 适合需要在自有环境中跑通检索—重排—作答链路、并对单次推理成本敏感的团队。

价格与性价比

结合各平台报价与同类对比

权重开源,官方未公开 API 价格,实际成本落在自建推理资源与工程投入上。

  • 定位以开源权重自托管为主,没有官方定价可参照,成本取决于自有 GPU 资源与运维方式。
  • 横向对比对比列表中的同门 Nemotron 系列按 token 计价,但没有本模型的输入价作基准,价差无法计算。
  • 平台差价目前没有第三方平台托管该模型,也就不存在多家报价可比,短期看不到渠道价差。
  • 省钱8B 体量对显存要求不高,把高频文档问答留在本地、只把难例交给付费大模型,成本更可控。

同类模型对比

5 条
Llama3-ChatQA-1.5-8B 的同类模型对比
模型上下文输入价输出价输入价差AA 综合
Nemotron 3 Ultra 550B A55B 256K$0.625/M $3.125/M基准11.8
NVIDIA Nemotron 3 Nano 4B —— —基准1.8
NVIDIA Nemotron 3 Nano 30B A3B 262.1K$0.05/M $0.2/M基准—
Cosmos Reason2 8B 131.1K免费 免费基准—
Nemotron 3.5 Lightning 30B A3B 262.1K免费 免费基准—

取上下文相近(约 0.5~2 倍)的同类主流模型;同厂商、同家族优先;价格差为相对本模型的输入价

关于 Llama3-ChatQA-1.5-8B 的常见问题

2 条
Llama3-ChatQA-1.5-8B 的 API 价格是多少?

当前资料未收录该模型的公开 API 价格:可能是未公开定价,或只提供自部署的开源权重。

Llama3-ChatQA-1.5-8B 是开源模型吗?

Llama3-ChatQA-1.5-8B 提供开源权重,可以自行下载部署,许可证为 llama3,HuggingFace 下载量 12,476。本站展示的价格是各托管平台对 API 调用的报价,自部署不计入。

使用注意

  • 口径仅确认参数规模、许可证与输入输出模态,跑分、上下文长度、官方价格均无数据,结论以官方模型卡为准。
  • 边界只支持文本,8B 规模在复杂推理与超长材料上有限;许可证为 llama3,商用前需逐条核对条款。

资料说明

本页资料由多个公开来源交叉整理:按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并, 冲突时取优先级高的来源。价格单位是美元 / 百万 tokens,为各平台对 API 调用的报价,不含自部署成本。 资料由公开来源整理,不代表 AiTest 已对该模型或其收录中转站做过真实性、稳定性或安全检测。

本页的模型介绍、架构、性能与性价比解读为 AI 综合公开信息整理,部分未经本站逐项核实;规格、价格与跑分以本页数据字段为准。

本页资料由多个公开来源交叉整理:按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并,冲突时取优先级高的来源;价格单位为美元 / 百万 tokens。