Cappy

AI TOOL PROFILE工具资料

用 360 million 参数的小评分器，为大型多任务语言模型打分和提效。

官网地址 https://blog.research.google/2024/03/cappy-outperforming-and-boosting-large.html

大模型与开发平台自然语言处理语言模型模型微调参数高效

访问官网

价格官网未标价

平台API

归类大模型与开发平台

收录2024-03-14

复核2024-03-14

编辑评分 4.2 / 5

Cappy编辑总结

EDITOR REVIEW编辑评测

Cappy 是 Google Research 在 2024 年 3 月公开的一种轻量评分模型，基于 RoBERTa 继续预训练而来，参数量为 360 million。它接收一条指令和一个候选回答，输出 0 到 1 之间的分数，用来估计回答相对指令的正确程度。它既能独立完成分类类任务，也能作为大型多任务语言模型的辅助组件，为其结果打分或提供增益。论文在 PromptSource 和 Big-Bench 的多种复杂任务上评估了它的效果，相关工作发表于 NeurIPS 2023。主要短板在于它本身不是完整的对话或生成工具，需要搭配其他模型使用，且目前公开信息以研究博客和论文为主，尚未给出面向普通用户的产品入口和价格方案。

Cappy是什么？

Cappy 由 Google Research 的工程师 Yun Zhu 和 Lijuan Liu 提出，是一种小型预训练评分模型。它的作用不是直接生成文字，而是给「一条指令加一个候选回答」打分，输出 0 到 1 之间的数值，用来估计这个回答相对于指令的正确程度。

它是在 RoBERTa 基础上继续预训练得到的，参数量为 360 million。在多任务语言模型的大背景下，大型模型往往有数十亿到数千亿参数，训练和推理成本高，存储与显存压力也大；Cappy 的思路是用一个小模型承担评分和辅助判断，从而在不改动大模型参数的情况下提升效果与效率。它既可以独立用于分类任务，也可以作为大型多任务语言模型的辅助组件使用，论文在 PromptSource 和 Big-Bench 的多种复杂任务上做了评估。

对研究者和开发者来说，Cappy 的价值主要在于给已有的大型多任务语言模型加一层轻量评分环节；对普通用户而言，它本身不是可以直接对话或写作的成品工具，更多是模型侧的一个组件，官网未提供面向大众的独立产品界面。

Cappy核心功能

CAPABILITIES工具标签

指令回答打分

接收一条指令和一个候选回答，输出 0 到 1 之间的分数，用来估计回答相对于指令的正确程度，方便在多个候选之间做比较。

轻量预训练评分器

在 RoBERTa 基础上继续预训练而成，参数量为 360 million，相比数十亿到数千亿参数的大型多任务语言模型，占用更小。

独立用于分类任务

可以脱离大型语言模型单独工作，在分类类任务上直接给出判断结果，适合把评分环节独立部署的场景。

作为大模型辅助组件

可以充当大型多任务语言模型的辅助部件，为大模型生成的回答打分或提供增益，从而在不改动大模型参数的前提下提升表现。

多任务覆盖评估

论文在 PromptSource 和 Big-Bench 的多种复杂任务上评估了这个预训练评分器的有效性，覆盖范围不止单一任务类型。

规避大模型改动

思路是绕过存储、显存和访问权限上的限制来适配大型语言模型，不需要为每个下游任务单独保存一份大模型副本。

Cappy适合谁用？

WHO IS IT FOR工具标签

多任务语言模型研究者

模型评测方向开发者

算力有限的团队

有条件

难以承担数十亿到数千亿参数模型的训练与推理开销，希望用 360 million 参数的评分器分担部分判断工作。

想要对话产品的普通用户

不推荐

Cappy 本身不是对话或写作工具，需要搭配其他语言模型使用，普通用户无法直接拿它完成日常问答。

需要闭源最强模型能力的场景

有条件

如果目标本身就依赖闭源且无法适配的超大模型能力，仅靠一个小评分器难以替代其本身的生成能力。

Cappy优点和缺点

PROS & CONS工具标签

优点

参数量 360 million，比数十亿到数千亿参数的大型多任务模型小得多。
输出 0 到 1 的分数，可直接用于候选回答的正确性估计。
既能独立做分类任务，也能作为大型语言模型的辅助组件。
论文在 PromptSource 和 Big-Bench 的多种复杂任务上做了评估。
不需要改动大型语言模型参数即可为其提供增益。

缺点

本身不是生成模型，无法替代大型语言模型直接回答用户问题。
公开信息以研究博客与论文为主，未见面向普通用户的产品入口。
官网未公开具体价格与使用额度，落地前需先确认获取方式。
作为评分器，效果依赖被评分回答的质量与指令的表达方式。

Cappy常见问题

FAQ工具标签

Cappy 收费吗？

官网未公开具体价格与付费方案。从公开内容看，它是 Google Research 提出的研究性评分模型，相关工作发表于 NeurIPS 2023，页面没有给出面向用户的收费档位，实际使用方式与费用需以官方页面为准。

Cappy 的主力能力是什么？

它的核心能力是评分：接收一条指令和一个候选回答，输出 0 到 1 之间的分数，用来估计回答相对于指令的正确程度。它基于 RoBERTa 继续预训练而成，参数量为 360 million，既能独立用于分类任务，也能作为大型多任务语言模型的辅助组件。

Cappy 和大型多任务语言模型怎么选？

两者定位不同：大型多任务语言模型如 T0、FLAN、OPT-IML 负责根据指令生成回答，参数量从数十亿到数千亿，训练与推理开销大；Cappy 只有 360 million 参数，负责给回答打分或为大模型提供增益。通常不是二选一，而是把 Cappy 当成大模型之外的轻量评分环节。

国内能直接使用 Cappy 吗？

官网未说明国内访问与可用性的情况。公开内容只介绍了模型思路、参数量和评估基准，没有提到地区限制、申请方式或开放范围，国内能否使用需以官方页面为准。

Cappy 在哪些任务上做过评估？

公开内容提到，评估覆盖了 PromptSource 和 Big-Bench 中的多种复杂任务。它的目标是增强并超越大型多任务语言模型的表现，因此评估任务不止单一类型，而是围绕多任务场景展开。

Cappy 需要改动大型语言模型的参数吗？

不需要。它的思路是在不改动大型语言模型参数的前提下，为其提供评分或增益，从而绕过存储、显存和访问权限方面的限制。这一点与需要反向传播穿过大模型参数的 prompt tuning 和 adapters 不同。

Cappy竞品对比

COMPARISON工具标签

工具	编辑评分	价格	核心功能	平台
Cappy本工具	4.2	未标价	指令回答打分；轻量预训练评分器；独立用于分类任务；作为大模型辅助组件	API
Meta Llama 3.1-405B	—	未标价	大型多语言预训练语言模型	—
Scale Leaderboard	—	未标价	AI 模型性能评估平台	—
Meta-Prompting	—	未标价	提升语言模型性能的元提示技术	—
Fuyu-8B	—	未标价	小型多模态模型，支持图像和文本生成	—
Meta-Llama-3.1-8B	—	未标价	8B 参数的大型多语言生成模型	—

继续浏览大模型与开发平台

返回分类目录