OpenAI推CSAM检测工具:误标记减少48%,违规账号停用24小时
OpenAI 发布 CSAM 检测工具,通过 API 向审核机构免费开放,结合新图像分类器与 ChatGPT 警告机制打击有害行为,并与 Anthropic、谷歌等合作制定应对指南。#OpenAI# #儿童网络安全#
OpenAI 在 11 月 17 日对外宣布,儿童性虐待内容(CSAM)检测工具正式推出。按照 OpenAI 的说法,这款产品能中断有害行为,同时提供干预手段,并为负责儿童安全案件的执法调查人员提供支持。经过审核的机构可以通过 OpenAI API 免费使用该工具。
新上线的图像分类器承担检测潜在儿童性虐待内容的任务。它会查找虐待行为的视觉特征,帮助审核团队发现此前没见过的图像;评分功能则用来协助审核人员判断哪些图像需要优先处理。
美国国家失踪与受剥削儿童中心(NCMEC)参与了该工具的开发,在训练、评估和实际部署环节为 OpenAI 提供支持。
与现有保护措施相比,这款工具把误标记的图像数量减少了 48%;在被标记的图像里,真正包含性虐待内容的可能性约为原来的两倍。invideo AI 的测试结果显示,每四个被标记的案例中,就有一个最终被封禁。
ChatGPT 中也将加入产品警告。用户一旦试图寻找性虐待素材,系统会中断相关操作、说明后果,并引导其寻求帮助,以停止有害行为。相关请求发出后,该用户的 ChatGPT 账号会被暂时停用 24 小时;反复违规可能面临更长时间的封号,最终永久封禁或被举报至有关部门。

OpenAI 还联合
Anthropic 和谷歌,共同委托制定一份新指南,内容涉及如何应对 AI 系统中儿童性剥削与性侵害的披露。这份指南最近由 Tech Coalition 发布,为开发者处理这类敏感情况给出了实用建议。