EXAONE 3.5

EXAONE 3.5

AI TOOL PROFILE工具资料

LG AI Research 开源的三规格大模型,长文本与指令遵循见长

官网地址 https://www.lgresearch.ai/blog/view?seq=507

访问官网
价格开源模型,可免费获取
平台开源模型
归类大模型与开发平台
收录2024-12-09
复核2024-12-09
编辑评分 4.1 / 5

EXAONE 3.5编辑总结

EDITOR REVIEW编辑评测

EXAONE 3.5 是 LG AI Research 于 2024 年 12 月 9 日开源的大模型系列,一次放出 2.4B、7.8B、32B 三个规格:2.4B 面向端侧与低配 GPU,7.8B 为通用轻量版,32B 定位前沿级高性能。三个模型均可处理最长 32K tokens 的上下文,在长文本理解的四项基准上表现突出,并被为在指令遵循与长文本能力上达到顶级水平。训练阶段通过去重、去除个人身份信息、SFT 与 DPO 提升效率与可用性。未公开模型的权重下载地址与许可条款细节。

EXAONE 3.5是什么?

EXAONE 3.5 由 LG AI Research 开发并开源,是该机构在 2024 年 8 月发布 EXAONE 3.0(7.8B)之后,时隔四个月推出的新一代模型系列。称这批模型面向企业、科研机构与学术界,而这次同时提供三种不同尺寸,正是为了回应此前用户对「不同用途需要不同规模模型」的集中反馈。

本次开源包含三个模型:2.4B 为超轻量端侧模型,可在设备本地或低端 GPU 上完成学习与推理,即使基础设施一般也能运行;7.8B 为通用轻量模型,参数量与上一代开源版本相同但性能更强;32B 则为前沿 AI 级别的高性能模型,面向最看重性能的用户。三个规格都支持最长 32K tokens 的上下文,强调这是经过实际验证的有效长度,而非仅在模型设计阶段成立的理论值。

使用方式上,个人开发者可以用 2.4B 或 7.8B 在本地跑推理,控制显存与成本;需要处理长文档、检索增强生成(RAG)等任务的团队可选用 32B。表示后续仍会持续开源,并根据研究者反馈推出更贴合需求的模型。

EXAONE 3.5核心功能

CAPABILITIES工具标签

三规格开源

一次开源 2.4B、7.8B、32B 三个规格,分别对应端侧、通用轻量与前沿高性能场景,用户可按算力和用途自行选择。

32K 长上下文

三个模型均设计为可处理最长 32K tokens 的上下文,强调这是实际有效的长度,而非仅停留在设计阶段的理论数字。

长文本基准领先

在四项长上下文理解基准上,EXAONE 3.5 相较同尺寸的全球模型表现更优,这是该系列最突出的能力。

端侧可运行

2.4B 模型可在设备本地或低端 GPU 上完成学习与推理,在没有高规格基础设施的环境中同样能跑起来。

SFT 与 DPO 调优

后训练阶段采用监督微调(SFT)与直接偏好优化(DPO),用于提升指令遵循能力并让模型更好地反映用户偏好。

训练数据去污

预训练阶段从数据集中移除重复内容与个人身份信息;评估阶段用去污方法把训练数据与评估数据集比对,重复执行 10 次以核验基准成绩。

EXAONE 3.5值不值得用?

VERDICT工具标签

当你需要一款可自部署、能吃长文档的开源模型时,EXAONE 3.5 值得优先评估——三个规格覆盖从端侧到前沿性能的跨度,32K tokens 的上下文在检索增强生成场景里是实打实的能力,且基准成绩经过了去污核验。若你的硬件只有消费级显卡或手机,2.4B 与 7.8B 是合适的起点。但要注意,官网未公开权重下载地址与开源许可的具体条款,落地前需要先确认商用范围;如果你的任务高度依赖中文等特定语种,官网也未说明各语种的支持情况。

建议选它的情况

  • 需要在本地或私有环境部署、对数据出境有顾虑的团队
  • 要做 RAG、长文档问答,需要 32K tokens 上下文的应用
  • 算力有限,想用 2.4B 在端侧或低端 GPU 上跑推理的开发者

不建议选它的情况

  • 只看重单一榜单分数、需要与闭源旗舰直接对标的采购方
  • 需要现成 API 与托管服务、不想自己维护推理环境的用户
  • 商用前必须拿到明确授权条款、无法接受官网未说明许可细节的团队

EXAONE 3.5使用建议

HOW TO USE工具标签
入门先把路子走对
  1. 先按算力选规格有消费级显卡或手机端就从 2.4B 起步,通用服务器选 7.8B,只有明确追求性能时再上 32B,三者都支持 32K tokens 上下文。
  2. 长文本任务别截断处理长文档或 RAG 时把输入控制在 32K tokens 以内,官方说明这是有效长度,超出部分没有性能保证。
进阶省时间也省钱
  1. 用 DPO 思路微调后训练用的是 SFT 加 DPO,做领域适配时可以沿用这套组合,先监督微调再偏好优化,比单用 SFT 更容易对齐用户偏好。
  2. 自建评估先做去污官方核验基准成绩时把训练数据与评估集比对并重复 10 次,自建评测时同样应先排除训练集污染,否则分数会虚高。

EXAONE 3.5适合谁用?

WHO IS IT FOR工具标签

部署私有模型的团队

推荐

三个规格可按算力挑选,2.4B 能在低端 GPU 上跑,适合对数据不出内网有要求的团队自建推理。

做 RAG 的开发者

推荐

32K tokens 上下文配合四项长文本基准的领先表现,适合文档问答、检索增强这类吃上下文的场景。

端侧 AI 应用开发者

推荐

2.4B 定位超轻量,可在设备本地或低配硬件上完成推理,适合手机、边缘设备上的小模型应用。

需要现成 API 的用户

有条件

官方未说明是否提供托管 API,若只想调用接口而不想维护推理环境,需先确认是否有可用服务。

EXAONE 3.5优点和缺点

PROS & CONS工具标签

优点

  • 一次开源 2.4B、7.8B、32B 三个规格,按算力选型空间大
  • 三个模型均支持最长 32K tokens 上下文
  • 四项长文本理解基准上优于同尺寸全球模型
  • 2.4B 可在端侧或低端 GPU 上运行
  • 后训练用 SFT 与 DPO 提升指令遵循与偏好对齐
  • 基准评估经过去污核验,训练数据重复比对 10 次

缺点

  • 开源许可与商用条款细节未说明
  • 各语种支持情况官网未提及
  • 是否提供托管 API 未说明
  • 32B 的实际推理硬件要求未给出具体指标

EXAONE 3.5关键指标

MEASURED FACTS工具标签
指标数值数据来源
开源模型规格 2.4B / 7.8B / 32B LG AI Research 研究博客
最长上下文 32K tokens LG AI Research 研究博客
上一代开源模型参数 7.8B LG AI Research 研究博客
去污比对重复次数 10 次 LG AI Research 研究博客

EXAONE 3.5常见问题

FAQ工具标签
EXAONE 3.5 有几个规格,分别适合什么场景?

一共三个:2.4B 是超轻量端侧模型,可在设备本地或低端 GPU 上完成学习与推理,适合基础设施一般的环境;7.8B 是通用轻量模型,参数量与上一代开源版本相同但性能更好;32B 是前沿 AI 级别的高性能模型,面向最看重性能的用户。三者都支持最长 32K tokens 的上下文。

它能处理多长的文本?

三个 EXAONE 3.5 模型都设计为可处理最长 32K tokens 的上下文。特别提到,有些模型宣称能理解超过 32K tokens,但那往往只是模型设计阶段确认的理论值,而 EXAONE 3.5 提供的是实际有效的能力。

长文本理解能力具体强在哪?

长上下文理解与处理能力是 EXAONE 3.5 最突出的特性,在四项长上下文理解基准上,每个模型相较同尺寸的全球模型都表现更优。这一点对检索增强生成(RAG)这类基于网页检索结果或参考文档生成答案的场景尤其重要。

模型是怎么训练和调优的?

预训练阶段通过移除数据集中的重复内容与个人身份信息,提升回答表现并降低基础设施成本;后训练阶段使用监督微调(SFT)与直接偏好优化(DPO),用来增强指令遵循能力并让模型更好地反映用户偏好。

基准成绩可靠吗?

官方做了一套去污流程来核验成绩:参照某个全球模型的去污方法,把训练数据与评估数据集进行比对,整个过程重复执行 10 次,以此确认 EXAONE 3.5 的基准表现没有被训练数据污染。

EXAONE 3.5最新动态

CHANGELOG工具标签
  1. 开源 EXAONE 3.5 三个模型

    LG AI Research 发布 2.4B、7.8B、32B 三款 EXAONE 3.5 开源模型,均支持 32K tokens 上下文。

    官方公告 ↗
  2. 发布 EXAONE 3.0(7.8B)

    EXAONE 3.0 的 7.8B 开源模型于 2024 年 8 月发布,EXAONE 3.5 在其四个月后推出。

    官方公告 ↗