多规格参数
提供 3B、10B、28B 三种参数规模,开发者可按任务复杂度与算力条件选择,小模型省资源,大模型换性能。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
可调优的视觉语言模型,能看图、答题、写长描述。
官网地址 https://developers.googleblog.com/en/introducing-paligemma-2-powerful-vision-…
PaliGemma 2 是 Gemma 家族的第二代视觉语言模型,建立在 Gemma 2 之上,加入视觉能力,可理解图像并生成文字。提供 3B、10B、28B 三种参数规模与 224px、448px、896px 三种分辨率,研究者按任务自行搭配。长描述能力可写出动作、情绪与整体叙事,不再停留在物体识别。作为 PaliGemma 的替代升级,老用户多数任务可获性能提升,无需大改代码。具体定价与免费额度未公布。
PaliGemma 2 是 Google 在 Gemma 系列下推出的视觉语言模型,接续第一代 PaliGemma 的思路,把视觉理解与文字生成放进同一个可微调的模型里。面向需要定制视觉 AI 的开发者、研究者与团队,而不是开箱即用的聊天应用。
它基于 Gemma 2 构建,提供 3B、10B、28B 三种参数规模,以及 224px、448px、896px 三种输入分辨率,使用户能按任务复杂度与算力预算选择合适的组合。官方研究显示其在化学式识别、乐谱识别、空间推理与胸部 X 光报告生成等任务上表现突出,技术报告中有详细说明。
对已有 PaliGemma 项目而言,它被设计成可直接替换的版本,大多数任务无需大改代码即可获得性能提升;具体任务与数据集上的微调流程也保持直接,适合把模型能力对准特定需求。
提供 3B、10B、28B 三种参数规模,开发者可按任务复杂度与算力条件选择,小模型省资源,大模型换性能。
支持 224px、448px、896px 三种分辨率。更高分辨率保留更多图像细节,适合文字密集或结构复杂的画面。
不只识别物体,还能生成上下文相关的详细描述,覆盖画面中的动作、情绪与整体叙事。
面向现有 PaliGemma 用户设计,作为 drop-in 替代方案,多数任务无需大改代码即可获得性能提升。
针对特定任务与数据集做微调,可把模型能力对准具体需求,流程保持直接,不需复杂改造。
研究结果显示在化学式识别、乐谱识别、空间推理与胸部 X 光报告生成等任务上具备领先表现。
可用 Hugging Face Transformers、Keras、PyTorch、JAX 与 Gemma.cpp 等框架与工具接入。
当你要做的是定制视觉任务——比如识别特定文档、乐谱、化学式,或在自有数据集上微调一个能看图的模型——PaliGemma 2 值得试,多规格参数与分辨率让你能按预算和精度取舍,直接替换的设计也降低了迁移成本。当你要的是开箱即用的聊天或多模态问答应用,它并不合适,需要自己搭推理与微调流程。另外价格、免费额度与授权范围未公布,正式商用前需要先确认这些条件。
需要可微调的视觉语言模型做实验,多规格与多分辨率提供了对比条件。
可直接替换升级,多数任务无需大改代码即可获得性能提升,迁移成本低。
化学式、乐谱、医学影像报告等任务上有研究支撑,适合围绕这些方向做定制。
价格与免费额度未公布,商用前需先确认成本与授权,再决定是否投入。
没有开箱即用的界面,需要自己搭推理与微调流程,不适合只想直接使用的人。
参数规模有三种:3B、10B、28B;输入分辨率也有三种:224px、448px、896px。任务越复杂、画面细节越多,越适合往大参数和高分辨率走;算力有限时从 3B 加 224px 起步验证流程即可。
不麻烦。PaliGemma 2 被设计成可直接替换的版本,已有 PaliGemma 用户大多数任务无需大改代码,就能获得性能提升,同时保留了针对特定任务与数据集做微调的灵活性。
研究结果显示,它在化学式识别、乐谱识别、空间推理以及胸部 X 光报告生成等任务上表现突出,技术报告中有详细说明。这些方向适合作为定制微调的切入点。
长描述能力是它的一个重点:除了识别画面里有什么,还会描述动作、情绪以及场景的整体叙事,而不是只给出一串物体名称。描述内容与上下文相关,适合需要成段文字说明的场景。
预训练模型和代码可在 Hugging Face 与 Kaggle 上获取,官方还提供文档与示例笔记。框架方面支持 Hugging Face Transformers、Keras、PyTorch、JAX 以及 Gemma.cpp,可以沿用已有工具链接入。
价格与免费额度未公布,模型与代码本身可从 Hugging Face 与 Kaggle 下载,但涉及商用或规模化部署时,需要先确认授权与费用条件。