苹果揭HomeView识人流程：只回传“谁、在哪、几成把握”

11月12日，苹果对外发布了一篇新博文。文章除了介绍iPhone 18 Pro与iPhone 18 Pro Max所用的“安全隔离区”（Secure Exclaves）架构，还把首款智能家居中枢HomeView的人员识别流程讲了一遍。

按照苹果此前披露的说法，家庭场景下HomeView最多能认出6位用户，再按识别结果给出个性化体验。它不用Face ID，走的是Center Stage摄像头做面部识别、配合语音识别判断在场者身份这条路。

不过这套识别有门槛：用户得有一台支持Apple Intelligence的“已注册个人设备”，该设备要连着家庭Wi-Fi，且必须处于最近解锁状态，HomeView才能靠面部或语音认出这个人。实际判断时，HomeView先用Center Stage摄像头和语音圈出“谁可能在场”，再去核对这名用户的iPhone或iPad是否接入家庭Wi-Fi、近期有没有解锁过。三条都对上，系统才会把该成员和个性化体验挂上钩。

新博文里，苹果把内部流程拆得比较细，大致是：摄像头与麦克风输入，在隔离区内检测处理，提取人脸和声音特征，与已登记身份比对，最后只向系统回一句“谁、在哪、把握多大”。

1. 启动时先加载已登记用户资料设备一开机，人员识别隔离区（Person Recognition Exclave）就会从安全存储隔离区（Secure Exclaves）里读出此前登记的人脸、声音识别模型和身份数据库，为后面的比对做铺垫。

2. 摄像头发现人脸，但不把画面交给系统摄像头拍下的连续画面会进入摄像头隔离区，由它检测人脸、画出人脸边界框，再把相关画面排进队列等待进一步处理。

这期间，摄像头隔离区可以给主系统里的后台进程发个信号：“可能有人出现了。”但这条通知不带图像数据，画面仍旧留在安全隔离区内。

3. 麦克风提供另一条判断线索音频的处理路径是先过音频隔离区，在那里完成异常检测、回声消除等步骤，然后才送进人员识别隔离区。

和摄像头一样，音频隔离区也能向主系统报告“可能有人在附近”，但不会把音频交出去。换句话说，“检测到有人”和“允许系统拿到录音”是两码事。

4. 神经网络引擎提取人脸和声音特征接下来，人员识别隔离区会请神经网络引擎隔离区载入人脸、声纹模型，生成用于身份比对的特征。

整个计算过程里，数据一直待在隔离区控制的内存中，主操作系统碰不到。神经网络引擎用的是隔离区专用工作队列，每个模型跑完还会把相关状态清掉。

5. 综合人脸与声音，判断具体是谁人员识别隔离区里的编排服务会把生成的人脸、声音特征拿去和已登记用户的身份数据库比对，再把人脸与声音两路结果合起来，得出身份判断和相应的置信度。

所谓“置信度”，可以理解成系统对这次识别有多大把握，而不是干巴巴甩出一个姓名、却不带可靠程度。

6. 只把识别结果交给主系统到头来，主系统中的人员识别后台进程收到的只有三类元数据：

• 人员标识：认出的是哪一位已登记用户。

• 位置：这个人处在什么位置。

• 置信度：系统对识别结果的把握程度。

整个识别过程中，原始音视频数据不会交给操作系统。这些识别结果随后被用来支撑日历、信息、Apple Music 等需要确认用户身份的功能，也覆盖来自用户 iPhone 的兼容第三方音视频应用。

参考