Uber Eats搜索管道重构:端到端延迟降50%
优步重构了Uber Eats搜索管道的主要部分,使端到端搜索延迟降低了 50%。这些改进涵盖了检索、特征填充(feature hydration)、排序、广告、展示和基础设施等多个环节,同时优步还引入了智能体编码(agentic coding)工作流,以识别、基准测试并验证额外的优化方案。 这项工作始于对主要延迟指标的
Uber Eats 的搜索管道被优步做了较大幅度重构,端到端搜索延迟因此下降 50%。优化覆盖检索、特征填充、排序、广告、展示以及基础设施等环节,优步同时搭起了智能体编码工作流,用来找出、做基准测试并验证更多可优化的点。
这轮工作从调整主要延迟指标开始。优步把关注点从后端 API 的响应时间挪开,转而测量“首屏渲染完成时间”,也就是从请求发出到首屏结果连同图片全部渲染完成所花的时间。分页改由服务端缓存承担,初始响应时间随之缩短;异步渲染机制则让结果项可以并发处理。优步称,首屏渲染延迟因此减少 200 毫秒以上。
Uber Eats 搜索管道架构图(来源:优步博客文章)
优步发现,排序之前有数万个候选项被填入了特征数据,其中不少最后会被丢弃。顺着这条线索,检索阶段的工作量被大幅压缩。砍掉低价值的检索策略省下约 120 毫秒;产品级嵌入的引入让数据查询次数减少 100 倍以上,又省出 50 毫秒。排序阶段把特征填充与展示数据拆开后,延迟下降 100 毫秒以上。另外,去掉不必要的依赖项、取消请求对冲,分别带来 35 毫秒和 40 毫秒的缩减。
广告链路也重新做了一版:竞价数据改为面向列的组织方式,走内存访问,序列化操作减少,延迟降低约 130 毫秒。基础设施方面还有几处改动,包括并行编码、更小的嵌入向量、连接管理优化,以及调整 Go 语言数据结构以压低垃圾回收开销。
这组工作引来参与项目的工程师公开讨论。Anubhooti Nagar 把这一性能挑战概括为:
与其说是把现有的事情做得更快,不如说是减少不必要的工作,并避免无谓的等待。
Nagar 还专门提到优步的:
测量、识别、修复、验证(Measure, Identify, Fix, Validate)循环,认为这是持续性能优化的典范。
Pratik Dhanave 的看法是,成果来自渐进式的增量优化,而不是一次系统架构大改。他的描述是,“背后并没有某个单一的宏大创意,而是贯穿整个技术栈的一系列审慎决策”。他举出的例子包括延迟指标测量、特征填充、广告链路和基础设施等方面的改动。
Vidya Pandey 把这些改动归纳成三条原则:减少工作量、尽早开始处理、移除不必要的依赖。他还把优步打算采用的微批处理方法,与 AI 系统中用来减少处理阶段之间同步等待的技术联系了起来。
这轮改进建立在优步现有搜索平台之上。此前公开的资料显示,该平台用到了 Apache Lucene、基于 Spark 的索引、基于 Kafka 的流式更新以及分布式服务层;InfoQ 早先对优步搜索架构的报道,也为该平台早期的索引和查询执行提供了更多背景。眼下优步正在摸索端到端微批处理、基于产品的检索、零遍历排序以及 HTTP 多部分流式传输。该公司称,早期基于产品的检索测试已让 p99 延迟下降 50%以上。这些计划中的改动允许各处理阶段相互重叠,不必等前序阶段全部跑完。