谷歌开源FashionMind:用全双工语音实现零延迟AI试衣
Google 开源了 FashionMind,这是一个基于 Gemini Live 2.5 Flash 的实时语音时尚助手。它最大的特点是“快”和“自然”:通过全双工音频流和本地打断技术,用户说话时助手能即时响应,无需等待;商品推荐直接注入上下文,消除了传统工具调用带来的十几秒冷场。此外,它还采用了三层记忆架构,既能记
为什么我们需要一个“不卡顿”的语音助手
如果你用过早期的智能音箱或电话客服机器人,大概对这种体验不陌生:你说完一句话,得等个两三秒,对方才慢吞吞地开始回答;如果你想中途插话,往往会被无视,或者导致对话彻底乱套。
在时尚购物这种需要高频互动、即时反馈的场景里,这种延迟是致命的。当你问“这件西装有深蓝色的吗”,如果助手沉默了十秒钟才说“正在为您搜索”,那股购物的兴致早就散了。
Google 最近开源的 FashionMind 就是为了解决这个问题。它不是一个简单的聊天机器人,而是一个基于 Google ADK(Agent Development Kit)和
Gemini Live 2.5 Flash 构建的实时多模态语音助手。它的核心目标很明确:让语音对话像真人聊天一样流畅,做到“零额外语音轮次”的低延迟体验。
核心突破:消灭那尴尬的十几秒
FashionMind 最引人注目的地方,在于它对延迟的极致优化。在传统的语音 Agent 架构中,一旦涉及外部数据查询(比如查库存、搜商品),通常要走一套标准的工具调用流程:
- 模型识别意图,决定调用搜索工具。
- 发送请求到后端数据库或 API。
- 等待返回结果。
- 模型根据结果生成回复。
这一来一回,哪怕网络再快,加上模型推理时间,往往也要耗费 6 到 16 秒。在语音交互中,这相当于长时间的“死寂”。
FashionMind 换了一种思路:既然查库慢,那就别查了,直接把目录塞给模型。
目录直注与信号工具
开发者将约 300 个 token 的商品目录直接预置在模型的上下文中。当用户询问商品时,模型不需要发起外部的 search_products() 调用,而是直接在内部匹配。更巧妙的是,它设计了一种“信号工具”(Signal Tool)——recommend_products()。
这个工具并不真的去查数据库,它只是一个标记。当模型输出这个函数调用事件时,后端的下游任务会立刻捕捉到,并向前端发送指令:“高亮显示某件商品卡片”。这样一来,语音播报和界面上的商品高亮是同步完成的,用户感觉不到任何停顿。
本地打断(Barge-in)
另一个提升流畅度的关键是“打断”。在 FashionMind 中,如果用户在助手说话时开口,浏览器端会通过 RMS(均方根)阈值检测立即停止当前的语音播放。这个过程完全在本地完成,不需要等待服务端的语音活动检测(VAD)信号回传。这种毫秒级的响应,让对话有了真正的“插嘴”自由,而不是必须等对方说完才能接话。
技术架构:双任务与异步注入
为了实现上述体验,FashionMind 的后端架构做了一些精细的设计。它基于 FastAPI 和 WebSocket,运行着两个并发的 asyncio 任务,分别负责“听”和“说/看”。
实时双任务架构
- 上游任务:负责接收浏览器传来的 16kHz PCM 音频流、摄像头图像和文本。它利用 VAD 判断说话的边界,将连续的音频通过
send_realtime()推入队列,而离散的图像和文本则通过send_content()处理。 - 下游任务:负责迭代
runner.run_live()产生的事件,并将结果转发给前端。
这种解耦设计确保了 WebSocket 处理器不会因为复杂的推理逻辑而阻塞,音频流可以持续不断地输入。
t=0ms 的上下文注入
很多语音助手在启动时需要加载用户信息,这往往会导致第一句对话变慢。FashionMind 采用了异步注入策略:
在会话启动的瞬间(t=0ms),系统同时注入三项内容:用户身份、商品目录和跨会话的风格记忆。其中,商品目录几毫秒内就能就绪,而较重的语义记忆大约在 1.5 秒后到达。关键在于,这些注入过程是非阻塞的,不会打断实时的音频流。这意味着,当用户说完第一句话时,Agent 已经握有了完整的背景信息,可以直接给出精准回答,而不需要先说一句“请稍等,我正在加载您的资料”。
记忆架构:不只是向量数据库
现在的 AI 应用喜欢把所有东西都扔进向量数据库,但 FashionMind 指出这种做法在处理精确事实时的隐患:向量搜索靠的是相似度,容易出错。比如你问“我上次买的那件衬衫多少钱”,向量检索可能会给你找回类似款式的价格,而不是你订单里的真实金额。
FashionMind 采用了三层记忆分离的设计:
- 精确事实(关系数据库):用户的日程、购买记录、心愿单等结构化数据,存储在 PostgreSQL 中。通过 SQL 事务查询,保证 100% 准确。
- 风格偏好(语义记忆):用户喜欢“极简风”还是“复古风”,这类模糊偏好由后台协程异步提炼,存入语义记忆层。这部分允许一定的模糊性,用于指导推荐方向。
- 原始数据(只存结论):原始的音视频数据不会被完整存储,系统只提取其中的结论性信息。这既保护了隐私,也节省了存储成本。
这种读写分离的机制,确保了指令执行的准确性,同时保留了个性化推荐的灵活性。
如何部署与体验
FashionMind 是一个面向开发者的参考架构,如果你想亲手跑起来,需要一些前置准备。它依赖 Google Cloud Platform (GCP) 的一些服务,所以你需要一个已启用计费的 GCP 项目。
快速启动步骤
- 环境准备:确保本机安装了 Python 3.11+ 和 Node.js 18+,并且 gcloud CLI 已登录认证。
- 基础设施搭建:项目提供了一个脚本
./setup_gcp.sh,运行它会自动创建 Cloud SQL PostgreSQL 实例和 Vertex AI Agent Engine,并生成必要的配置文件。 - 后端启动:
- 进入
backend目录,创建虚拟环境并安装依赖。 - 执行
alembic upgrade head进行数据库迁移。 - 运行
python seed_products.py导入示例商品目录。 - 最后通过
uvicorn main:app --reload --port 8080启动服务。
- 进入
- 前端启动:
- 进入
frontend目录,执行npm install和npm run dev。 - 在浏览器打开
http://localhost:5173。
- 进入
- 开始对话:授权摄像头和麦克风后,你就可以对着屏幕说话,展示你的穿搭,或者询问商品建议了。
需要注意的是,要启用跨会话记忆功能,需在 backend/.env 文件中设置 USE_MEMORY_BANK=true。
与同类产品的对比
为了更直观地理解 FashionMind 的定位,我们可以将其与 Pinterest Assistant 做一个对比。
| 维度 | FashionMind | Pinterest Assistant |
|---|---|---|
| 产品定位 | 面向开发者的开源参考架构,展示垂直语音应用的工程最佳实践 | 面向消费者的成品功能,嵌入 Pinterest 平台,目前处于 Beta 阶段 |
| 语音交互 | 全双工连续对话:16kHz 持续音频流,免唤醒词,支持随时打断 | 按键式语音:按住说话,类似发语音消息,非连续流,播报不可关闭 |
| 视觉能力 | 实时视频流:1fps 摄像头画面,同一语音回合内点评穿搭 | 静态图片分析:基于海报或截图生成建议,非实时视频流 |
| 记忆机制 | 三层分离:SQL 存事实,语义记忆存偏好,原始数据不保留 | 依托用户行为信号(Pin、浏览记录),无公开的分层记忆机制 |
| 延迟优化 | 深度工程优化:目录预注入、信号工具、本地打断、异步状态管理 | 官方未披露细节,语音播报刻意保持简短以掩盖延迟 |
可以看出,Pinterest Assistant 更像是一个功能模块,而 FashionMind 则是一套完整的工程样板。它展示了如何在现有的大模型能力之上,通过架构设计来解决实际业务中的痛点。
应用场景想象
虽然 FashionMind 目前是一个演示项目,但它背后的技术栈可以应用到很多场景:
- 无障碍购物:对于视障人士,纯语音的流畅交互意味着他们可以独立完成浏览、询问细节、加购的全过程,而不需要依赖屏幕阅读器去逐个点击元素。
- 个人衣橱管理:你可以随时问助手:“我下周要去参加一个海边婚礼,我该穿什么?”助手结合你的日程、当地天气以及你已有的衣物记录,给出具体的搭配建议,甚至直接生成购物清单。
- 实时穿搭教练:在出门前,打开摄像头让助手看一眼,它能即时指出“这条领带和衬衫颜色不太搭”,并给出调整建议。这种即时反馈是图文交互无法提供的。
结语
FashionMind 的价值不在于它作为一个“时尚助手”有多聪明,而在于它证明了实时、自然、低延迟的语音交互在工程上是可行的。它没有使用什么黑魔法,而是通过对上下文管理、并发任务和内存架构的精细打磨,消除了那些让人出戏的等待和停顿。
对于开发者来说,这是一个极佳的学习案例。它告诉我们,在构建 AI 应用时,除了关注模型本身的智商,更要关注交互的“体感”。毕竟,用户不在乎你的后端用了多少微服务,他们只在乎说话时,对方是否在认真听,并且能立刻回应。
项目代码已托管在 GitHub,地址为:https://github.com/cuppibla/fashionmind。如果你对实时语音交互感兴趣,不妨下载下来看看它的源码实现。