Meta-Llama-3-8B-Instruct-llamafile

MODEL PROFILE模型资料

mozilla-ai · 2024-04-19 发布 · 开源权重

无公开托管渠道

Meta-Llama-3-8B-Instruct-llamafile 是 mozilla-ai 发布的、以 llamafile 单文件形式封装的 Llama 3 8B 指令模型,面向想在本地零依赖运行对话模型的开发者与个人用户。

模型介绍

该模型属于 Meta Llama 3 系列中的 8B 指令微调版本,由 mozilla-ai 以 llamafile 格式重新打包发布。它要解决的问题不是模型能力本身,而是分发与运行门槛:llamafile 把模型权重与推理运行时合并为可执行文件,让用户在本地机器上直接启动对话服务,减少对 Python 环境、依赖库和模型加载脚本的配置工作。参数规模 8B,仅支持文本输入与文本输出,开源权重可获取,许可证标注为 other,使用时需自行核对原始许可条款。官方价格未公开,本站也未收录该模型的公开跑分与能力标注,收录平台数为 0,因此横向比较信息有限。适合作者在离线环境、隐私敏感数据或个人开发机上做本地推理验证与轻量对话原型。

选型建议需要离线、隐私可控、零配置本地运行的文本对话能力时选它;追求高强度推理效果或有明确跑分对标需求时不选它。

Llama 38Bllamafile本地部署开源权重文本对话

关键指标

输入模态文本
HF 下载量14,702
HF 点赞53

适用场景

  • 在无网络的离线设备上启动本地对话服务,处理内部文档问答与草稿撰写
  • 对隐私敏感的数据场景中,用本地部署替代外部 API 调用,避免数据外传
  • 快速验证 Llama 3 8B 指令模型在具体业务语料上的表现,作为选型初筛
  • 面向非技术同事分发单个可执行文件,降低本地体验对话模型的配置门槛
  • 在个人开发机上搭建轻量文本生成与改写工具,用于日常写作辅助

暂无:上下文窗口、最大输出、知识截止、模型家族、输入价、输出价、缓存读价、缓存写价、推理、工具调用、结构化输出、附件、温度调节(上游未公开,本站不估算)。 没有任何平台收录,也没有公开报价:可能是自部署权重或尚未开放调用;发布 936 天。

规格与能力

上面没列到的字段

基于 Llama 3 8B 指令微调权重,外层由 llamafile 提供单文件可执行封装,架构细节以公开资料为准。

  • 结构沿用 Llama 3 系列的 decoder-only 稠密 Transformer 设计,8B 参数规模,配合指令微调权重,具体层数与注意力配置公开资料较少。
  • 封装核心差异在 llamafile 打包方式,把权重与推理运行时合成单个可执行文件,启动时不依赖完整 Python 环境,便于在本地和离线机器上分发。
  • 能力仅文本进、文本出,不支持图像或音频;指令微调使其适合对话式交互,但本站未标注具体能力项,需按实际测试判断。
  • 披露许可证标注为 other,权重虽开源可获取,商用与再分发条件应以 Meta Llama 3 原始许可为准,使用前需核对条款。
开源权重
是
许可证
other
参数规模
8B
能力 资料未标注

同系列其他规格

型号厂商参数上下文输入价输出价
Meta-Llama-3-8B Meta 8B — — —
Meta-Llama-3-8B Nous Research 8B — — —
Meta-Llama-3-8B-Instruct Meta 8B — — —
Meta-Llama-3-8B-Instruct Nous Research 8B — — —
Meta-Llama-3-8B-Instruct-abliterated-v3 failspy 8B — — —
Meta-Llama-3-8B-Instruct-heretic-mlabonne lenalibon 8B — — —

性能表现

本站未收录该模型的第三方跑分,以下仅为基于参数规模与封装形式的定性判断,不代表实测结论。

  • 强项8B 规模在消费级硬件上可运行,llamafile 单文件形态让本地部署与分发成本明显低于常规权重加推理框架的组合。
  • 短板8B 体量在复杂推理、长链路任务和知识广度上弱于更大参数模型;与同封装的其他小模型相比,差异需实测确认。
  • 适合对隐私、离线、零配置启动有要求的场景,比追求极限效果更适合;高难度生成任务应评估更大模型或外部服务。

价格与性价比

结合各平台报价与同类对比

官方价格未公开,该模型以开源权重形式分发,成本主要体现为本地硬件与运维投入。

  • 定位开源权重加单文件运行,无按 token 计费口径,成本集中在本地算力与部署人力,适合长期自托管。
  • 横向对比同门的 Mistral-7B-Instruct-v0.2-llamafile 同样未公开价格,两者价差无有效数据,选型更应看语言能力与封装一致性。
  • 平台差价本站收录平台数为 0,暂无托管平台报价可对比,实际获取渠道需自行核实,不同渠道可能附加服务费用。
  • 省钱本地运行可免去调用费用,但需权衡硬件折旧与电费;访问量低时自托管未必比按量调用更划算。

同类模型对比

1 条
Meta-Llama-3-8B-Instruct-llamafile 的同类模型对比
模型上下文输入价输出价输入价差AA 综合
Mistral-7B-Instruct-v0.2-llamafile —— —基准—

取上下文相近(约 0.5~2 倍)的同类主流模型;同厂商、同家族优先;价格差为相对本模型的输入价

关于 Meta-Llama-3-8B-Instruct-llamafile 的常见问题

2 条
Meta-Llama-3-8B-Instruct-llamafile 的 API 价格是多少?

当前资料未收录该模型的公开 API 价格:可能是未公开定价,或只提供自部署的开源权重。

Meta-Llama-3-8B-Instruct-llamafile 是开源模型吗?

Meta-Llama-3-8B-Instruct-llamafile 提供开源权重,可以自行下载部署,许可证为 other,HuggingFace 下载量 14,702。本站展示的价格是各托管平台对 API 调用的报价,自部署不计入。

使用注意

  • 口径本站未收录第三方跑分与能力标注,任何效果对比都缺乏统一基准,公开可查的量化信息有限。
  • 边界仅支持文本模态,许可证为 other 而非标准开源协议,商用、再分发与署名要求须回到原始许可确认。

资料说明

本页资料由多个公开来源交叉整理:按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并, 冲突时取优先级高的来源。价格单位是美元 / 百万 tokens,为各平台对 API 调用的报价,不含自部署成本。 资料由公开来源整理,不代表 AiTest 已对该模型或其收录中转站做过真实性、稳定性或安全检测。

本页的模型介绍、架构、性能与性价比解读为 AI 综合公开信息整理,部分未经本站逐项核实;规格、价格与跑分以本页数据字段为准。

本页资料由多个公开来源交叉整理:按「官方目录 → 通用网关 → 开源仓库 → 中文资料」的优先级合并,冲突时取优先级高的来源;价格单位为美元 / 百万 tokens。