谷歌开源FashionMind:用全双工语音实现零延迟AI试衣

资讯 AI 应用前沿 全文 3814 字 · 约 10 分钟读完 配图 1 张 分类GeminiGoogle开源

Google 开源了 FashionMind,这是一个基于 Gemini Live 2.5 Flash 的实时语音时尚助手。它最大的特点是“快”和“自然”:通过全双工音频流和本地打断技术,用户说话时助手能即时响应,无需等待;商品推荐直接注入上下文,消除了传统工具调用带来的十几秒冷场。此外,它还采用了三层记忆架构,既能记

所属频道 大厂动态Gemini 与 Google AI开源生态

为什么我们需要一个“不卡顿”的语音助手

如果你用过早期的智能音箱或电话客服机器人,大概对这种体验不陌生:你说完一句话,得等个两三秒,对方才慢吞吞地开始回答;如果你想中途插话,往往会被无视,或者导致对话彻底乱套。

在时尚购物这种需要高频互动、即时反馈的场景里,这种延迟是致命的。当你问“这件西装有深蓝色的吗”,如果助手沉默了十秒钟才说“正在为您搜索”,那股购物的兴致早就散了。

Google 最近开源的 FashionMind 就是为了解决这个问题。它不是一个简单的聊天机器人,而是一个基于 Google ADK(Agent Development Kit)和 Gemini Live 2.5 Flash 构建的实时多模态语音助手。它的核心目标很明确:让语音对话像真人聊天一样流畅,做到“零额外语音轮次”的低延迟体验。

核心突破:消灭那尴尬的十几秒

FashionMind 最引人注目的地方,在于它对延迟的极致优化。在传统的语音 Agent 架构中,一旦涉及外部数据查询(比如查库存、搜商品),通常要走一套标准的工具调用流程:

  1. 模型识别意图,决定调用搜索工具。
  2. 发送请求到后端数据库或 API。
  3. 等待返回结果。
  4. 模型根据结果生成回复。

这一来一回,哪怕网络再快,加上模型推理时间,往往也要耗费 6 到 16 秒。在语音交互中,这相当于长时间的“死寂”。

FashionMind 换了一种思路:既然查库慢,那就别查了,直接把目录塞给模型。

目录直注与信号工具

开发者将约 300 个 token 的商品目录直接预置在模型的上下文中。当用户询问商品时,模型不需要发起外部的 search_products() 调用,而是直接在内部匹配。更巧妙的是,它设计了一种“信号工具”(Signal Tool)——recommend_products()。

这个工具并不真的去查数据库,它只是一个标记。当模型输出这个函数调用事件时,后端的下游任务会立刻捕捉到,并向前端发送指令:“高亮显示某件商品卡片”。这样一来,语音播报和界面上的商品高亮是同步完成的,用户感觉不到任何停顿。

本地打断(Barge-in)

另一个提升流畅度的关键是“打断”。在 FashionMind 中,如果用户在助手说话时开口,浏览器端会通过 RMS(均方根)阈值检测立即停止当前的语音播放。这个过程完全在本地完成,不需要等待服务端的语音活动检测(VAD)信号回传。这种毫秒级的响应,让对话有了真正的“插嘴”自由,而不是必须等对方说完才能接话。

技术架构:双任务与异步注入

为了实现上述体验,FashionMind 的后端架构做了一些精细的设计。它基于 FastAPI 和 WebSocket,运行着两个并发的 asyncio 任务,分别负责“听”和“说/看”。

实时双任务架构

  • 上游任务:负责接收浏览器传来的 16kHz PCM 音频流、摄像头图像和文本。它利用 VAD 判断说话的边界,将连续的音频通过 send_realtime() 推入队列,而离散的图像和文本则通过 send_content() 处理。
  • 下游任务:负责迭代 runner.run_live() 产生的事件,并将结果转发给前端。

这种解耦设计确保了 WebSocket 处理器不会因为复杂的推理逻辑而阻塞,音频流可以持续不断地输入。

t=0ms 的上下文注入

很多语音助手在启动时需要加载用户信息,这往往会导致第一句对话变慢。FashionMind 采用了异步注入策略:

在会话启动的瞬间(t=0ms),系统同时注入三项内容:用户身份、商品目录和跨会话的风格记忆。其中,商品目录几毫秒内就能就绪,而较重的语义记忆大约在 1.5 秒后到达。关键在于,这些注入过程是非阻塞的,不会打断实时的音频流。这意味着,当用户说完第一句话时,Agent 已经握有了完整的背景信息,可以直接给出精准回答,而不需要先说一句“请稍等,我正在加载您的资料”。

记忆架构:不只是向量数据库

现在的 AI 应用喜欢把所有东西都扔进向量数据库,但 FashionMind 指出这种做法在处理精确事实时的隐患:向量搜索靠的是相似度,容易出错。比如你问“我上次买的那件衬衫多少钱”,向量检索可能会给你找回类似款式的价格,而不是你订单里的真实金额。

FashionMind 采用了三层记忆分离的设计:

  1. 精确事实(关系数据库):用户的日程、购买记录、心愿单等结构化数据,存储在 PostgreSQL 中。通过 SQL 事务查询,保证 100% 准确。
  2. 风格偏好(语义记忆):用户喜欢“极简风”还是“复古风”,这类模糊偏好由后台协程异步提炼,存入语义记忆层。这部分允许一定的模糊性,用于指导推荐方向。
  3. 原始数据(只存结论):原始的音视频数据不会被完整存储,系统只提取其中的结论性信息。这既保护了隐私,也节省了存储成本。

这种读写分离的机制,确保了指令执行的准确性,同时保留了个性化推荐的灵活性。

如何部署与体验

FashionMind 是一个面向开发者的参考架构,如果你想亲手跑起来,需要一些前置准备。它依赖 Google Cloud Platform (GCP) 的一些服务,所以你需要一个已启用计费的 GCP 项目。

快速启动步骤

  1. 环境准备:确保本机安装了 Python 3.11+ 和 Node.js 18+,并且 gcloud CLI 已登录认证。
  2. 基础设施搭建:项目提供了一个脚本 ./setup_gcp.sh,运行它会自动创建 Cloud SQL PostgreSQL 实例和 Vertex AI Agent Engine,并生成必要的配置文件。
  3. 后端启动:
    • 进入 backend 目录,创建虚拟环境并安装依赖。
    • 执行 alembic upgrade head 进行数据库迁移。
    • 运行 python seed_products.py 导入示例商品目录。
    • 最后通过 uvicorn main:app --reload --port 8080 启动服务。
  4. 前端启动:
    • 进入 frontend 目录,执行 npm install 和 npm run dev。
    • 在浏览器打开 http://localhost:5173。
  5. 开始对话:授权摄像头和麦克风后,你就可以对着屏幕说话,展示你的穿搭,或者询问商品建议了。

需要注意的是,要启用跨会话记忆功能,需在 backend/.env 文件中设置 USE_MEMORY_BANK=true。

与同类产品的对比

为了更直观地理解 FashionMind 的定位,我们可以将其与 Pinterest Assistant 做一个对比。

维度 FashionMind Pinterest Assistant
产品定位 面向开发者的开源参考架构,展示垂直语音应用的工程最佳实践 面向消费者的成品功能,嵌入 Pinterest 平台,目前处于 Beta 阶段
语音交互 全双工连续对话:16kHz 持续音频流,免唤醒词,支持随时打断 按键式语音:按住说话,类似发语音消息,非连续流,播报不可关闭
视觉能力 实时视频流:1fps 摄像头画面,同一语音回合内点评穿搭 静态图片分析:基于海报或截图生成建议,非实时视频流
记忆机制 三层分离:SQL 存事实,语义记忆存偏好,原始数据不保留 依托用户行为信号(Pin、浏览记录),无公开的分层记忆机制
延迟优化 深度工程优化:目录预注入、信号工具、本地打断、异步状态管理 官方未披露细节,语音播报刻意保持简短以掩盖延迟

可以看出,Pinterest Assistant 更像是一个功能模块,而 FashionMind 则是一套完整的工程样板。它展示了如何在现有的大模型能力之上,通过架构设计来解决实际业务中的痛点。

应用场景想象

虽然 FashionMind 目前是一个演示项目,但它背后的技术栈可以应用到很多场景:

  • 无障碍购物:对于视障人士,纯语音的流畅交互意味着他们可以独立完成浏览、询问细节、加购的全过程,而不需要依赖屏幕阅读器去逐个点击元素。
  • 个人衣橱管理:你可以随时问助手:“我下周要去参加一个海边婚礼,我该穿什么?”助手结合你的日程、当地天气以及你已有的衣物记录,给出具体的搭配建议,甚至直接生成购物清单。
  • 实时穿搭教练:在出门前,打开摄像头让助手看一眼,它能即时指出“这条领带和衬衫颜色不太搭”,并给出调整建议。这种即时反馈是图文交互无法提供的。

结语

FashionMind 的价值不在于它作为一个“时尚助手”有多聪明,而在于它证明了实时、自然、低延迟的语音交互在工程上是可行的。它没有使用什么黑魔法,而是通过对上下文管理、并发任务和内存架构的精细打磨,消除了那些让人出戏的等待和停顿。

对于开发者来说,这是一个极佳的学习案例。它告诉我们,在构建 AI 应用时,除了关注模型本身的智商,更要关注交互的“体感”。毕竟,用户不在乎你的后端用了多少微服务,他们只在乎说话时,对方是否在认真听,并且能立刻回应。

项目代码已托管在 GitHub,地址为:https://github.com/cuppibla/fashionmind。如果你对实时语音交互感兴趣,不妨下载下来看看它的源码实现。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Google三款新模型齐发:Hydrogen提速19%,API配额省24%

    2026年11月13日 AI 动态:Google 发布 Gemini 4 Hydrogen、Carbon 和 Decision 1,以价格和配额效率发起攻势;United Airlines 因安全风险屏蔽 AI 订票 Agent,PayPal 通过工程手段将助手准确率提升至 95%;开放权重模型向生命科学领域下沉。

    来源 AI 应用前沿
  2. 摩根大通:英伟达2026年后算力份额仅28%,CUDA壁垒正被AI攻破

    英伟达正面临来自两端的结构性压力,而这与创始人黄仁勋的离任同等重要,甚至可能更为深远。摩根大通策略师Michael Cembalest在最新研报《英伟达与AI的下一步》中指出,前沿AI实验室正将采购重心向AMD、谷歌、亚马逊等多家供应商分散,英伟达在2026年后计算协议中的份额仅占28%。与此同时,开源模型生态圈则面临

    来源 腾讯网
  3. 巨头持续加码!AI眼镜概念爆发

    11月17日,A股AI眼镜板块再度异动拉升,光学标的集体走强。永新光学、瀛通通讯涨停,波长光电、茂莱光学、海信视像等产业链个股同步跟涨。 消息面上,三星近日宣布将与谷歌合作推出全系列智能眼镜,产品融合了三星的移动工程技术,内置Gemini人工智能系统,并由Gentle Monster、Warby Parker等时尚眼镜

    来源 腾讯网
  4. 卖出AI硬件,已成为全球投资者共识

    过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。 英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。 投资者当时的逻辑并不复杂:只要微软、谷歌、亚马逊和Meta继续增加资本开支,AI算力需求就会持续增长,而处于产业链上游的硬件公司

    来源 AI 行业观察
  5. 谷歌整柜卖TPU:推理性价比压过GB200,直指英伟达地盘

    谷歌打破惯例,首次向外部客户直接销售整套TPU系统,试图通过硬件外售分摊研发成本并扩大市场份额。最新测试显示,其第七代TPU在特定推理场景下的每美元性能优于英伟达GB200。配合TorchTPU开源以兼容PyTorch生态,谷歌正从专用芯片和软件适配两端发力,挑战英伟达在AI算力领域的绝对主导地位。

    来源 AI 应用前沿
  6. Gemini新模型箭在弦上,网友:遍历元素周期表?

    我真没想到,有天我竟会嫌Google模型发的太多了...... 最新消息,有开发者发现,Gemini网页应用代码中又出现了一个新模型标识:gemini-4-neon。 Neon,氖,是元素周期表第10号元素。 刚一曝光,大家又开始吐槽了,这也毫无顺序啊!怎么Hydrogen发完之后就直接跳到Neon了呢? 说好的,氢氦

    来源 AI 行业观察
  7. 谷歌地图上线AI行程规划:Ask Maps能做三日公路旅行

    TechCrunch报道,Google Maps新增AI行程规划能力,用户可通过Ask Maps生成从假日购物一日游到三日公路旅行的完整路线,并查看每一站的实时详情。文章分析该功能如何把地图导航升级为行程助手,以及实时数据、场景化规划和商业化推荐带来的机会与挑战。

    来源 AI 科技快讯
  8. 决策模型开源新王登顶全球榜首,反超谷歌闭源王牌

    新智元报道 硅谷最卷的新赛道,刚刚杀出了一位开源新王!最近,即将敲钟的Anthropic在IPO材料中曝出天价算力缺口,给狂卷参数的AI行业当头浇下一盆冷水。通用大模型虽在编程、数学上大杀四方,可一旦真替人干活,算力账单就成了无底洞。比生成文本更耗Token的是长链推理,而比推理更烧钱的则是操作浏览器,单次平均开销比复

    来源 腾讯网
  9. Gemini Notebook上线建站功能:一句话生成可分享网页

    Gemini Notebook上线网站生成功能,用户可通过自然语言指令,将现有资源快速转化为可互动、可分享的网站。据@Gemini_Notebook推文,只需在聊天框输入“帮我建个网站”并描述需求,如交互式仪表盘、项目跟踪器等,系统即可自动生成网页。生成后可在新标签页打开或分享给他人。该功能面向全球18岁以上用户。

    来源 AI 产业速递
  10. DeepSeek Harness 实战:从零搭建你的第一个 AI Agent 工作流

    DeepSeek Harness (dsh) 是一款开源的 Agent 运行框架,它让 AI 能够直接操作你的本地文件系统和终端。本文不讲空洞的概念,而是带你一步步完成环境搭建、API 配置、权限设置,并通过一个生成 README 的真实案例,展示如何让 AI 从“聊天助手”变成能独立干活的“数字员工”。适合希望提升开

    来源 AI 应用前沿
  11. 谷歌地图上线AI行程规划:Ask Maps能排路线,实时信息成关键

    TechCrunch报道,Google Maps新增AI行程规划能力,用户可通过Ask Maps生成从假日购物一日游到三日公路旅行的完整路线,并查看每一站的实时详情。文章分析该功能如何把地图导航升级为行程助手,以及实时数据、场景化规划和商业化推荐带来的机会与挑战。

    来源 AI 行业观察
  12. 北大天大开源SpatialScout:让AI像人一样主动探索三维空间

    北京大学与天津大学联合发布了SpatialScout,这是一个针对三维空间智能的全新评测基准。不同于以往让AI“看图答题”的静态测试,SpatialScout要求模型操控虚拟摄像头,在80个室内场景中自主移动、拍照并调用三角测量工具,最终构建出物体中心的三维地图。它通过中心误差和三维IoU双重指标,精准评估模型的定位精

    来源 AI 应用前沿
  13. 谷歌AdMob上线AI工具:对话助手与编程智能体瞄准广告变现

    IT之家 11 月 17 日消息,谷歌昨日(11 月 16 日)发布博文,宣布为旗下移动应用广告平台 AdMob 引入新一批 AI 工具,包括对话助手 Ask AdMob 以及面向 AI 编程助手的 AdMob 智能体技能,帮助开发者简化广告接入、排查配置问题,并寻找增加广告收入的机会。 Ask AdMob 基于 Ge

    来源 AI 行业观察
  14. Google披露俄语黑客AI框架:全自动挖洞攻击法国媒体教育站

    Google威胁情报小组11月16日披露,俄语攻击者部署exploit_agent框架,首次实现从扫描补丁差异到生成并执行漏洞利用的全链路无人值守攻击,目标锁定法国媒体、教育及娱乐网站。该事件标志AI从辅助工具转向自主攻击管道,引发合规与武器化agent的监管讨论。

    来源 AI 科技快讯
  15. Anthropic收购1人公司Mithril:AI制药新路径?

    (本文作者为 医线Insight,钛媒体经授权发布)文 | 医线Insight,作者丨张小漫一家只有一名全职员工的生物技术公司,近期被AI巨头Anthropic宣布收购。这家公司名叫Mithril Medicine,专注于两种罕见肌营养不良症的治疗研究。创始人Cody Tranbarger借助Claude,在不到18个

    来源 腾讯网
向下滚动自动加载更多