苹果HomeView识人流程公开:最多认6人,只回暗号不留照片
IT之家 11 月 12 日消息,苹果公司今天(11 月 12 日)发布新博文,在介绍适用于 iPhone 18 Pro 和 iPhone 18 Pro Max 的“安全隔离区”(Secure Exclaves)架构同时,还公开其首款智能家居中枢 HomeView 的人员识别流程。IT之家此前报道,在家庭环境下,苹果
11月12日,苹果发布了一篇新博文。博文除了介绍iPhone 18 Pro和iPhone 18 Pro Max所采用的“安全隔离区”(Secure Exclaves)架构,还首次公开了其首款智能家居中枢HomeView的人员识别流程。
按照此前的消息,在家庭场景下,HomeView最多能识别6位用户,并根据识别结果给出个性化体验。它不走Face ID那条路,主要靠Center Stage摄像头做面部识别,再结合语音识别来判断当前在场的是哪位家庭成员。
不过要触发识别,得先满足几个前提:用户需要有一台支持Apple Intelligence的“已注册个人设备”,这台设备要连着家庭Wi-Fi,而且必须处于最近解锁的状态。只有这些条件都齐了,HomeView才能通过面部或语音认出该用户。
识别时的顺序是这样的:HomeView先用Center Stage摄像头和语音判断“谁可能在场”,然后核对该用户的iPhone或iPad是否连着家庭Wi-Fi、近期有没有解锁过。三方面都对上,系统才会把这个成员和个性化体验关联起来。
最新博文里,苹果把HomeView人员识别的内部流程讲得很细,大致可以串成一条线:摄像头、麦克风输入,进入隔离区检测与处理,提取人脸和声音特征,匹配已登记身份,最后只向系统返回“谁、在哪、把握多大”。
1. 启动时,先加载已登记用户资料
设备一启动,人员识别隔离区(Person Recognition Exclave)就会从安全存储隔离区(Secure Exclaves)里把此前登记的人脸、声音识别模型及身份数据库读进来,为后面的匹配做准备。
2. 摄像头发现人脸,但不把画面交给系统
摄像头拍下的连续画面会进入摄像头隔离区,由它检测人脸、标出人脸边界框,再把相关画面排队,等待进一步处理。
这时候,摄像头隔离区可以给主系统中的后台进程发个通知:“可能有人出现了。”但通知里不带图像数据,画面仍旧留在安全隔离区内。
3. 麦克风提供另一条判断线索
音频则先经过音频隔离区,完成异常检测和回声消除等处理,然后才送入人员识别隔离区。
和摄像头一样,音频隔离区也能向主系统报告“可能有人在附近”,但不会把音频交给主系统。换句话说,“检测到有人”和“允许系统取得录音”是两回事。
4. 神经网络引擎提取人脸和声音特征
接下来,人员识别隔离区会请求神经网络引擎隔离区加载人脸、声纹模型,生成用于身份匹配的特征。
整个计算过程中,数据一直保存在隔离区控制的内存里,主操作系统碰不到。神经网络引擎用的是隔离区专用的工作队列,每个模型跑完,还会把相关状态清除掉。
5. 综合人脸与声音,判断具体是谁
人员识别隔离区中的编排服务会把生成的人脸、声音特征与已登记用户的身份数据库做匹配,再综合两类识别结果,得出身份判断及其置信度。
这里的“置信度”,可以理解为系统对这次识别结果有多大把握,而不是简单甩出一个不带可靠程度的姓名。
6、只把识别结果交给主系统
最终,主系统中的人员识别后台进程收到的是三类信息。
- 人员标识:识别到的是哪位已登记用户。
- 位置:人员所处的位置。
- 置信度:系统对识别结果的把握程度。
整套人员识别流程里,原始音视频不会被交给操作系统。系统拿到这些结果后,用来支撑日历、信息、Apple Music 等需要确认用户身份的功能,也包括用户 iPhone 上兼容的第三方音视频应用。
参考