谷歌开源EmbeddingGemma 2:不到600MB,手机断网也能搜图搜音
谷歌把AI搜索塞进手机!不到600MB,照片、视频、录音断网照样搜
10月6日,谷歌把EmbeddingGemma 2开源了。这个内存不到600MB的小模型,本身就是一个能搜图、能看视频、还能听声音的搜索引擎。
在谷歌自家开源模型里,文字、代码、图片、视频、音频第一次可以靠一句话一起检索。
它拥有740M参数,手机、笔记本、浏览器上都能离线运行。
谷歌CEO Sundar Pichai亲自站台推荐:这是谷歌第一个原生多模态的开源嵌入模型。
让手机在本地就能搜图片、视频和声音,是它的一大突破。演示里输入「鸟在唱歌」,鸟的照片和鸟叫录音会同时被找出来。

上线才一个多小时,Hugging Face的Victor M就把它跑在了浏览器里。
他在搜索框输入「birds singing」(鸟在唱歌),页面上的格子马上重新排列:最靠前的既有鸟的照片,也有带波形显示的鸟叫录音。
这次查询只花了22毫秒,没有经过服务器,也没有调用任何API。


应用接入之后,你可以让AI在手机里帮你找照片、录音和视频,不需要先把文件传到云端。
文字、图片、声音
能互相搜了
普通用户平时看不到Embedding,但不少AI搜索和RAG问答,背后找资料靠的就是它。
它的作用是把一段内容变成一串数字,等于在巨大的空间里给每段内容定一个坐标。含义越接近,坐标就靠得越近。
到了搜索环节,系统再去挑出跟问题最接近的那些内容。
上一代EmbeddingGemma只能应付文字。想搜图片和声音,通常得再接别的模型,或者先把它们转成文字。
EmbeddingGemma 2把这些内容统统装进了同一个768维空间。
打个比方,猫的照片、「cat」这个词以及猫的叫声,在这个空间里能按语义建立起关联。

这样一来,你可以用一句话去搜图片、搜视频,也可以拿一段语音去找视频里对应的片段。
它还能把文字、图片和视频摆在一起,让你一次就搜到同时包含这些内容的整条信息。
谷歌在模型卡里给了一个例子。
一双跑鞋的商品页,里面有文字介绍、两张细节图,还有一段鞋子在湿滑岩石上做防滑测试的视频。
模型可以把这组内容转成一个向量,拿去匹配「适合越野跑的防水鞋」这类搜索。
一次能处理的内容也变多了。8K上下文窗口,达到上一代的4倍。
如果只输入单一类型的内容,它最多能装下约5.5分钟音频、29张图片,或者58帧视频,并且支持100多种语言。
谷歌拿它跟几个同量级模型比了一轮,差距最明显的地方在看图和看视频。


看图和看视频这两项,EmbeddingGemma 2把Jina v5 Omni-Nano甩在了后面。
谷歌放出的测试数据里,EmbeddingGemma 2图像检索拿到57.3分;Jina v5 Omni-Nano的参数量比它多出三成,得分却停在31.6。
视频检索的差距同样明显,50.7分对31.2分,中间差了将近20分。
换到多语言文本这一项,它跟上一代比几乎没涨没跌。
567MB
手机自己当搜索引擎
这些能力加起来,参数规模是740M。
拆开看,文本模块270M,视觉编码器170M,音频编码器300M,用哪块加载哪块。只做文字搜索,270M就够;要连图片一起搜,再叠上视觉部分,合计440M。
谷歌在Pixel 11 Pro上测过,量化后的纯文本模型内存最低占到约191MB,完整多模态模型则在567MB上下。
搜索索引也能靠它压缩:每段内容的含义用更少的数字来记录,存储占用可以砍掉三分之二。
谷歌的多语言文本检索测试中,分数只掉了不到1分。
谷歌自己先做了几个应用来打样:
AI Edge Gallery里的Instant Media Search,可以按意思在相册中找照片。
Video Moments Finder的用法更直接,说一句话,视频里对应的片段就能被定位出来。
还有个应用叫Foresight,它把EmbeddingGemma 2和Gemma 4配在一起,在Mac上不联网检索文件和会议记录。
开发者端,llama.cpp已经支持,Unsloth也发了量化版,本地部署方便了不少。
Mac应用Nativ的实测显示,M5 Max上跑8-bit量化版,生成的向量和原版余弦相似度为0.9997,文本嵌入速度每秒817条。

土耳其开发者Avenox做的测试,场景更接近日常使用。
他平时笔记基本用英文写,提问却习惯说土耳其语。关键词匹配对不上两边的词,有些相关笔记就搜不出来。
他让Claude用一小时搭了个测试台,挑出40条笔记,逐条换个说法,再用土耳其语提问,看正确的笔记能不能进前18个候选。
他公布的结果是:关键词匹配命中比例仅15%;换成EmbeddingGemma 2之后,命中率升到97%。
接着他又测了30条平时随手打、带错别字的真实消息,模型找到的相关笔记数量是关键词匹配的两倍。每次查询大约50毫秒,全部在本地跑完。
也有人玩得更开。
开发者Nick Lo把它塞进了一块Nano开发板。
一句话输进去,模型大约15毫秒就能把这句话变成一串用于搜索的数字。找到对应图片后,再交给一块ESP32-S3单片机,把图像一行一行画出来。

Coding Agent查代码
本地也能跑
多模态之外,代码检索这块的进步同样不小。
代码检索基准MTEB Code上,成绩从前一代的68.76分提到了78.68分,涨了将近10分。谷歌的说法是,同等尺寸的模型里,这个分数排在前面。
对写代码的Agent来说,这个能力挺顶用。
Claude Code、Codex这类工具动手之前,总得先把整个代码库里相关的那几段翻出来。
现在有了270M的纯文本版本,开发者可以在本地给代码库建索引,然后用日常语言去搜对应代码。建索引、检索,这两步都能搁在本地跑。
AI搜索
塞进手机里
今年3月,谷歌在云端推出过多模态的Gemini Embedding 2,走API调用,按用量计费。
半年多过去,谷歌把多模态检索装进了一个能跑在手机上的开源小模型。照片、录音、视频,如今也能选择留在本地检索。
谷歌举的一个例子,是拿它跟Gemma 4配对,做离线、隐私优先的RAG。
一个管找材料,一个管照着材料作答,检索和问答都可以在设备上跑完。
以前想用AI搜照片、视频和录音,不少时候得把这些内容送到云端去处理。
如今这套检索本事只占几百MB,有望被塞进每个人的口袋里。
参考资料:
https://blog.google/innovation-and-ai/technology/developers-tools/embeddinggemma-2
https://huggingface.co/google/embeddinggemma-2
https://ai.google.dev/gemma/docs/embeddinggemma