Llama3-ChatQA-1.5-8B
MODEL PROFILE模型资料NVIDIA · 2024-04-28 发布 · 开源权重
面向多轮对话式问答与检索增强场景的开源文本模型:以 Llama 3 8B 为底座的社区后训练版本,由 NVIDIA 发布,适合希望自行部署、把文档问答链路握在自己手里的团队。
模型介绍
Llama3-ChatQA-1.5-8B 属于 ChatQA 系列的 1.5 代,2024 年 4 月由 NVIDIA 发布,权重开源,许可证沿用 llama3。它要解决的是通用对话模型在「基于给定材料做多轮问答」上的短板:用户连续追问时,指代容易丢失,检索到的段落也难以被稳定地用进回答。该模型在 Llama 3 8B 基础上针对这类任务做了后训练,目标形态是把检索结果与对话历史一起放进输入,再输出有依据的答复。8B 的体量意味着推理资源门槛不高,可以在自有环境里部署,配合自建检索管线使用。输入输出均为文本,不含多模态能力;官方价格未公开,目前也没有第三方平台托管该模型,公开跑分同样缺失。因此它更像一个可以拿来做 RAG 链路验证与二次微调的基座,而非开箱即用的通用助手。
选型建议需要自托管、以文档问答为核心且对推理成本敏感时选它;要现成 API、通用对话或多模态能力时不选。
关键指标
适用场景
- 搭建企业内部文档问答,把手册与知识库接入检索,完成多轮追问式作答
- 在客服机器人中加入「基于给定材料回答」的约束,减少无依据的自由发挥
- 在单机或小规模集群部署本地问答服务,验证 RAG 链路是否跑得通
- 用于对话式检索中的问题改写与指代消解实验,配合自建检索器迭代
- 作为 8B 级别的对照基线,与自研微调版本在同条件下比较效果与成本
暂无:上下文窗口、最大输出、知识截止、模型家族、输入价、输出价、缓存读价、缓存写价、推理、工具调用、结构化输出、附件、温度调节(上游未公开,本站不估算)。 没有任何平台收录,也没有公开报价:可能是自部署权重或尚未开放调用;发布 927 天。
规格与能力
上面没列到的字段沿用 Llama 3 8B 的 decoder-only 文本架构,改造重点不在结构,而在面向对话式问答的后训练流程。
- 结构以 Llama 3 8B 为基座,保持标准的纯文本自回归结构,参数量 8B,未做多模态扩展。
- 能力后训练围绕多轮问答展开,把检索段落与对话历史一并作为条件输入,输出有材料依据的答复。
- 披露训练数据配比、上下文长度等细节在本站事实中没有给出,公开资料较少,选型前建议核对官方模型卡。
- 开源权重
- 是
- 许可证
- llama3
- 参数规模
- 8B
同系列其他规格
| 型号 | 厂商 | 参数 | 上下文 | 输入价 | 输出价 |
|---|---|---|---|---|---|
| Llama-3-SauerkrautLM-8b-Instruct | VAGOsolutions | 8B | — | — | — |
| Llama3-Chinese-8B-Instruct | FlagAlpha | 8B | — | — | — |
| Llama 3 Instruct 70B | Meta | — | — | $0.65/M | $2.75/M |
| Llama 3 Instruct 8B | Meta | — | — | $0.045/M | $0.145/M |
性能表现
没有可引用的公开跑分,只能从其设计目标与底座规格判断适用区间。
- 强项针对「给定材料 + 连续追问」的任务形态做过后训练,在文档问答与对话式检索中更贴合实际流程。
- 短板公开跑分缺失,通用知识、复杂推理与多语言表现都没有可对照数据,不宜按榜单结论做选型。
- 适合需要在自有环境中跑通检索—重排—作答链路、并对单次推理成本敏感的团队。
价格与性价比
结合各平台报价与同类对比权重开源,官方未公开 API 价格,实际成本落在自建推理资源与工程投入上。
- 定位以开源权重自托管为主,没有官方定价可参照,成本取决于自有 GPU 资源与运维方式。
- 横向对比对比列表中的同门 Nemotron 系列按 token 计价,但没有本模型的输入价作基准,价差无法计算。
- 平台差价目前没有第三方平台托管该模型,也就不存在多家报价可比,短期看不到渠道价差。
- 省钱8B 体量对显存要求不高,把高频文档问答留在本地、只把难例交给付费大模型,成本更可控。
同类模型对比
5 条| 模型 | 上下文 | 输入价 | 输出价 | 输入价差 | AA 综合 |
|---|---|---|---|---|---|
| Nemotron 3 Ultra 550B A55B | 256K | $0.625/M | $3.125/M | 基准 | 11.8 |
| NVIDIA Nemotron 3 Nano 4B | — | — | — | 基准 | 1.8 |
| NVIDIA Nemotron 3 Nano 30B A3B | 262.1K | $0.05/M | $0.2/M | 基准 | — |
| Cosmos Reason2 8B | 131.1K | 免费 | 免费 | 基准 | — |
| Nemotron 3.5 Lightning 30B A3B | 262.1K | 免费 | 免费 | 基准 | — |
取上下文相近(约 0.5~2 倍)的同类主流模型;同厂商、同家族优先;价格差为相对本模型的输入价
关于 Llama3-ChatQA-1.5-8B 的常见问题
2 条Llama3-ChatQA-1.5-8B 的 API 价格是多少?
当前资料未收录该模型的公开 API 价格:可能是未公开定价,或只提供自部署的开源权重。
Llama3-ChatQA-1.5-8B 是开源模型吗?
Llama3-ChatQA-1.5-8B 提供开源权重,可以自行下载部署,许可证为 llama3,HuggingFace 下载量 12,476。本站展示的价格是各托管平台对 API 调用的报价,自部署不计入。
使用注意
- 口径仅确认参数规模、许可证与输入输出模态,跑分、上下文长度、官方价格均无数据,结论以官方模型卡为准。
- 边界只支持文本,8B 规模在复杂推理与超长材料上有限;许可证为 llama3,商用前需逐条核对条款。
资料说明
本页资料由多个公开来源交叉整理:按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并, 冲突时取优先级高的来源。价格单位是美元 / 百万 tokens,为各平台对 API 调用的报价,不含自部署成本。 资料由公开来源整理,不代表 AiTest 已对该模型或其收录中转站做过真实性、稳定性或安全检测。
本页的模型介绍、架构、性能与性价比解读为 AI 综合公开信息整理,部分未经本站逐项核实;规格、价格与跑分以本页数据字段为准。
本页资料由多个公开来源交叉整理:按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并,冲突时取优先级高的来源;价格单位为美元 / 百万 tokens。