Shopify推Overexposed工具:代码配了鉴权,服务为何仍暴露公网
Shopify 推出了内部扫描工具 Overexposed,用于定位 GKE 上的 Kubernetes Ingress 和 Cloud Run 服务,并检查它们是否能够在没有身份验证的情况下从互联网访问。该工具的第一个版本基于代码仓库中的配置文件,但存在误报和盲区,因此团队使用 GCP Cloud Asset Inv
Shopify 上线了一款内部扫描工具,取名 Overexposed,专门用来找出 GKE 上的 Kubernetes Ingress 和 Cloud Run 服务,看它们能不能在没鉴权的情况下从公网访问。第一版靠代码仓库里的配置文件做判断,误报和盲区都不少,团队于是改用 GCP Cloud Asset Inventory 加匿名 HTTP 探测,把整套系统重做了一遍。调优只花了几周,Ingress 结果里无法确定的比例就降了大约 80%。
早先那版扫描器的做法,是在基础设施代码仓库里翻 Ingress,盯住没配身份验证的公共主机名,再逐个探测。Shopify 说这条路有三个坑。团队直接在代理上配身份验证注解,会引发误报;准入控制器会在准入阶段改写设置,可并非所有集群都跑同一个控制器,看着对的配置未必真生效;至于别的代码仓库或平台工具建出来的 Ingress,压根不会被发现。作者把教训归纳成一句话:代码仓库展示的是意图,集群展示的才是实际执行的结果。
现在的版本按计划定期跑,查询 Cloud Asset Inventory。这份资产清单里有过准入处理、已被 GKE 接受的 Ingress,也有 Cloud Run 服务和负载均衡器。另一次查询不需要集群凭证,就能拿到访问策略。资产清单还翻出了第一版从未覆盖过的项目中的 Cloud Run 服务。
接下来,扫描器会给每个候选目标发一次匿名请求。先发 HEAD,不行再换 GET,最多跟三次重定向,重定向链上的每一跳都要查。它还会测试/ADMIN等路径变体,因为路径规则可能区分大小写。结果分成六种判定:已暴露、符合预期、受保护、未找到、无法访问和无法确定。“符合预期”指的是端点虽然公开,但和经过审查、写在代码里的允许列表条目完全对得上,主机名和路径都一致。允许列表里的端点每次运行仍会被探测;哪个端点后来受保护了或者消失了,对应条目就会被标成过期。
Shopify 强调,状态码得结合上下文看。Ingress 后面冒出 404,说明代理已经响应了,只是请求的路径不存在。换成 Cloud Run 就不一样,Google 前端可能在应用还没起来时就返回 404,扫描器因此判为无法确定。403 同样不能直接当成端点受保护的证据。对 Cloud Run,扫描器会把入口设置和 IAM 分开看:只有当allUsers拥有调用者角色,或者调用者检查被关掉时,服务才算公开。放在负载均衡器后面的服务走 URL Map,每条路径对应哪个后端由它决定,它也能显示哪些位置要求用 Identity-Aware Proxy 之类的身份验证机制。
早期运行中,7 月的一次扫描约有四分之三的结果无法确定。团队按原因给结果分组,证据够的地方补上明确判定,发布前拿保存下来的扫描结果回放规则变更。证据还是不够,结果就继续留在无法确定,不会默认判成受保护。扫描器会存下判定结果、判定原因和负责团队,响应正文和凭证则不存。
扫描器会向任意主机名发外部请求,Shopify 因此做了加固,防服务端请求伪造(SSRF)。DNS 返回的每个 IP 地址都要验证,私有地址和环回地址一律拒绝,连接时直接连经过检查的 IP,防止 DNS 重绑定,每次重定向都重新查一遍。作者还建议限制扫描器的网络出站访问,云元数据端点也包括在内。
Overexposed 是团队用 AI 编码智能体和 AI 代码审查搭起来的。为了揪出测试通过却验证了错误内容的情况,他们会对安全防护逻辑做变异测试,每种判定结果都留一个金丝雀目标。
Shopify 这套做法,照出了公网暴露扫描里常见的两条路子。基于规则的检查,比如 Trend Micro 的 Cloud Run 规则,找的是allUsers绑定。这种办法成本低,接进 CI 也容易。可工具反映的是配置意图,不是实际执行结果,代码仓库之外创建的资源会被漏掉,后来被准入控制器改写的设置也看不到。
基于资产清单的方法则从云平台实际运行的资源出发,比如 Cartography,以及 Shopify Overexposed 背后的 Cloud Asset Inventory 查询,正好补上这些盲区。不过 Cartography 仍然是靠配置推导exposed_internet标志,外部访问者实际看到了什么,它确认不了。Overexposed 在资产清单之上又加了匿名探测、允许列表和基于证据的判定。证据不确定时,它给的是“无法确定”,不是“受保护”。
想搭类似系统的团队,该把资产清单当作主要事实来源,同时保留配置分析,让它在 CI 里当早期信号。只有资产清单证明不了访问控制是否真正生效时,才需要加上主动探测。