RWKV v6 Finch 14B

RWKV v6 Finch 14B

AI TOOL PROFILE工具资料

RWKV 架构第六代开源大模型,主打长文本与长程记忆

官网地址 https://blog.rwkv.com/p/rwkv-v6-finch-14b-is-here

访问官网
价格官网未标价
平台Web / API
归类大模型与开发平台
收录2024-09-03
复核2024-09-03
编辑评分 4.3 / 5

RWKV v6 Finch 14B编辑总结

EDITOR REVIEW编辑评测

RWKV v6 Finch 14B 是 RWKV 架构第六代 Finch 系列中规模最大的开源模型,由 RWKV 项目发布,2024 年 9 月上旬上线,模型权重对外开放。它在上一代 Eagle(v5)基础上,把数据依赖性引入 token shift 与 time-mixing,让模型在处理提示时对“长期记忆”的管理更高效,从而拥有更好的上下文覆盖范围。Finch 7B 与 Finch 14B 都是在 Eagle 7B 权重上用同一份数据集(World v2.1)继续训练得到,14B 由 7B 堆叠两份而来,相当于强化了模型的短期记忆。跑了 235 项基准,Finch 7B 相较 Eagle 7B 整体提升 5.38%,Finch 14B 在此基础上再提升 7.14%。短板也比较直接:项目公开提到 GPU 算力是瓶颈之一,因此对外接受捐赠;14B 的评测在每个模型上要花 2 天,迭代与验证成本都不低。

RWKV v6 Finch 14B是什么?

RWKV v6 Finch 14B 是 RWKV 开源项目推出的第六代大模型,属于 Finch(v6)系列,接替此前的 Eagle(v5)系列。项目本身是受 Linux Foundation 认可的开源项目,训练代码托管在 GitHub 上,模型权重对外公布,主要面向需要长文本处理能力的研究者、开发者和开源社区用户。

从架构看,Finch 在 Eagle 的基础上,把数据依赖性引入 token shift 和 time-mixing,使模型在处理提示时能更高效地管理“长期记忆”,上下文覆盖范围更好。Finch 14B 是目前训练过的最大 Finch 模型,也是 RWKV 项目迄今最大的模型——在 Eagle 阶段,训练过的最大规模只有 7B。它的训练起点是 Eagle 7B 的权重,用的是同一份数据集 World v2.1;14B 由两份 7B 模型堆叠而成,堆叠的作用是提升模型的短期记忆,也就是每一层能接收到的精确提示内容,这与单纯把模型加宽的效果并不相同。

使用方式上,普通用户可以通过官方给出的托管推理入口直接体验 14B;开发者可以下载 14B、7B、3B、1.6B 各档权重自行部署,也可以用公开的训练代码做继续训练或微调;团队层面则更偏向把 RWKV 作为长文本场景的底层模型来评估,但需要自行准备算力。

RWKV v6 Finch 14B核心功能

CAPABILITIES工具标签

第六代 Finch 架构

Finch 是 RWKV 架构的第六个版本,接替 Eagle / v5 系列。相比上一代,它把数据依赖性引入 token shift 与 time-mixing,让模型在处理提示时对长期记忆的管理更高效,上下文覆盖范围更好。

架构论文 ↗

14B 最大规模

Finch 14B 是目前训练过的最大 Finch 模型,也是 RWKV 项目历史上最大的模型——此前的 Eagle 系列最大只训练到 7B,14B 的出现把项目的规模上限往上推了一档。

7B 权重堆叠

14B 由两份 7B 模型堆叠而成,堆叠能提升模型的短期记忆,也就是每一层能接收到的精确提示内容,这种增强方式和单纯把模型加宽带来的效果并不一样。

多尺寸权重

了 14B、7B、3B、1.6B 四档模型权重,其中小于 14B 的 Finch 模型在 2024 年陆续出现,开发者可以按自己的算力与场景挑选合适规模。

训练代码 ↗

长文本处理

通过把数据依赖性引入 token shift 和 time-mixing,Finch 在处理提示时对长期记忆的管理更高效,从而获得更好的上下文覆盖范围,适合长文本类任务。

架构论文 ↗

托管推理入口

官方给出了 14B 的托管推理页面,无需自行准备算力即可在线调用体验该模型,适合快速验证效果或做小规模试用。

托管推理 ↗

开源训练代码

项目的训练代码在 GitHub 上公开,开发者可以据此复现训练流程、继续训练或做定制化调整,项目本身也是受 Linux Foundation 认可的开源项目。

GitHub ↗

广泛基准评测

官方用 RWKV 版的 lm-evaluation-harness 跑了 235 项基准,尽量扩大覆盖面;该评测框架也是 HuggingFace Open LLM Leaderboard 所用的标准框架的分支。

评测框架 ↗

RWKV v6 Finch 14B值不值得用?

VERDICT工具标签

当你要做长文本或长程记忆类实验时,RWKV v6 Finch 14B 值得放进候选名单:它把数据依赖性引入 token shift 与 time-mixing,官方在 235 项基准上测得 Finch 7B 相较 Eagle 7B 整体提升 5.38%,Finch 14B 再提升 7.14%。当你要的是开箱即用的商业服务时则要谨慎:权重虽然开源,官方也提供了托管推理入口,但项目公开表示 GPU 算力是瓶颈之一,正在寻求算力捐赠,说明训练与迭代资源并不宽裕。另外 14B 属于较大规模,自行部署对硬件有要求;如果只是做轻量任务,官方同时放出了 3B 和 1.6B 两个更小的版本可供权衡。

建议选它的情况

  • 需要处理长文本、看重长程记忆表现的研究或开发场景
  • 希望拿到开源权重自行部署与微调的团队
  • 想对比 RWKV 各代架构差异、需要多尺寸权重做实验的人
  • 有闲置 GPU 算力、愿意参与开源项目共建的机构

不建议选它的情况

  • 只想开箱即用、不愿接触权重部署与推理配置的用户
  • 硬件资源有限、跑不动 14B 规模模型的个人
  • 需要成熟商业级 SLA 与配套服务支持的业务场景

RWKV v6 Finch 14B使用建议

HOW TO USE工具标签
入门先把路子走对
  1. 先跑托管入口不准备算力的话,先用官方给出的 14B 托管推理页面试效果,确认长文本表现符合预期后再考虑自己部署。
  2. 从 1.6B 起步官方放出了 14B、7B、3B、1.6B 四档权重,本地初次尝试可以先从 1.6B 或 3B 跑通流程,再换成更大的版本。
  3. 对照架构论文Finch 的 token shift 与 time-mixing 改动在论文里有详细说明,读一遍再动手调参,能少走很多弯路。
  4. 明确任务类型先确定自己要做的是长文本理解还是短提示生成,Finch 的改进重点在长期记忆管理,任务不匹配时提升感知会不明显。
进阶省时间也省钱
  1. 用官方评测框架评测基于 RWKV 版的 lm-evaluation-harness,自行验证时沿用同一套框架,结果更容易和的 235 项基准对齐。
  2. 关注 7B 与 14B 差异14B 由两份 7B 堆叠而来,带来的是短期记忆增强,并非单纯加宽;算力紧张时先测 7B,确认瓶颈在规模再上 14B。
  3. 利用继续训练Finch 7B 与 14B 都是在 Eagle 7B 权重上用 World v2.1 继续训练得到的,做领域适配时可以沿用同样的继续训练思路。
  4. 预留评测时间在他们的环境里每个模型跑一轮评测要 2 天,自己安排回归测试时要提前留出足够的时间预算。

RWKV v6 Finch 14B适合谁用?

WHO IS IT FOR工具标签

长文本研究者

推荐

Finch 把数据依赖性引入 token shift 与 time-mixing,长期记忆管理更高效,适合做长上下文相关的实验与对比。

开源模型开发者

推荐

权重与训练代码均公开,项目还是 Linux Foundation 认可的开源项目,便于二次开发、继续训练和定制化部署。

算力紧张的团队

有条件

14B 是项目迄今最大的模型,自行部署对硬件有要求;官方同时提供托管推理入口,可以先在线验证再决定是否本地部署。

追求开箱即用的用户

不推荐

开源权重需要自行配置推理环境,官方托管入口的功能范围与调用限制需以官网为准,不适合完全不想碰技术细节的人。

企业级商用场景

有条件

项目公开表示 GPU 算力是瓶颈之一并接受捐赠,说明资源并不宽裕,对服务稳定性和支持响应有硬要求的业务需谨慎评估。

RWKV v6 Finch 14B优点和缺点

PROS & CONS工具标签

优点

  • Finch 7B 在 235 项基准上相较 Eagle 7B 整体提升 5.38%
  • Finch 14B 在 7B 基础上再提升 7.14%
  • 14B 是 RWKV 项目迄今最大模型,此前 Eagle 最大只到 7B
  • 权重覆盖 14B、7B、3B、1.6B 四档,可按算力挑选
  • 训练代码与架构论文均公开,项目受 Linux Foundation 认可
  • 架构改动聚焦长期记忆管理,长文本场景有针对性优化

缺点

  • 项目公开表示 GPU 算力是瓶颈之一,需接受捐赠
  • 评测中每个模型跑一轮要 2 天,验证成本高
  • 14B 规模较大,自行部署对硬件有门槛
  • 托管推理入口的功能范围与限制官网未公开

RWKV v6 Finch 14B常见问题

FAQ工具标签
RWKV v6 Finch 14B 要多少钱?免费吗?

模型权重本身是公开的,官方也给出了 14B 的托管推理入口,具体调用是否收费、额度多少,官网未公开,需要以官方页面为准。另外项目公开表示 GPU 算力是瓶颈之一,接受机构捐赠闲置算力,联系方式在官方博客里公布。

现在的主力版本和能力是什么?

Finch 是 RWKV 架构的第六个版本,接替 Eagle / v5 系列,14B 是目前训练过的最大 Finch,也是 RWKV 项目迄今最大的模型。它在 Eagle 基础上把数据依赖性引入 token shift 和 time-mixing,对长期记忆的管理更高效,上下文覆盖范围更好;14B 由两份 7B 堆叠而来,用以增强短期记忆。

和上一代 Eagle 比,提升幅度有多大?

跑了 235 项基准做对比:Finch 7B 相较 Eagle 7B 整体提升 5.38%,Finch 14B 在此基础上再提升 7.14%。两者都是在 Eagle 7B 权重上用同一份数据集 World v2.1 继续训练得到的,所以提升本身就说明 Finch 的架构改动带来了额外价值。

国内能不能用?有什么限制?

未说明国内访问与使用方面的限制。可确认的是模型权重对外公布、训练代码在 GitHub 上开源,也提供了 14B 的托管推理入口,实际能否访问以及速度表现需要。

有哪些不同规模可以选?

了 14B、7B、3B、1.6B 四档 Finch 模型权重。小于 14B 的 Finch 在 2024 年陆续出现,14B 是其中最大的一个。Eagle 阶段训练过的最大规模只有 7B,因此 14B 同时刷新了 Finch 系列和整个 RWKV 项目的规模上限。

14B 和 7B 的区别只是参数变大吗?

不完全是。14B 由两份 7B 模型堆叠而成,堆叠提升的是短期记忆,也就是每一层能接收到的精确提示内容,这与把模型加宽带来的效果不同。二者的训练起点都是 Eagle 7B 权重,用的是同一份数据集 World v2.1。

跑一轮评测要多久?

在他们的环境里,每个模型跑完整评测要 2 天。他们一共跑了 235 项基准,用来尽量扩大覆盖面,同时控制计算时间。如果要自行验证效果,建议提前留出足够的评测时间预算。

RWKV v6 Finch 14B竞品对比

COMPARISON工具标签
工具编辑评分价格核心功能平台
RWKV v6 Finch 14B本工具 4.3 未标价 第六代 Finch 架构;14B 最大规模;7B 权重堆叠;多尺寸权重 Web / API
Qwen2.5-Turbo — 未标价 高效处理长文本的先进语言模型 —
ModernBERT-base — 未标价 高效处理长文本的双向编码器模型 —
RWKV-6 Mixture of Experts — 未标价 RWKV 家族中最大的模型,采用 MoE 技术提升效率 —
Q-RWKV-6 32B Instruct Preview — 未标价 最强大的 RWKV 模型变体,打破多项英语基准测试 —
MediaTek Research Breeze-7B — 未标价 一款开源大型语言模型,适用于中英文 —