OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护

资讯 AI 行业观察 全文 640 字 · 约 2 分钟读完 配图 1 张 分类OpenAI

IT之家 11 月 17 日消息,OpenAI 昨天宣布推出儿童性虐待内容(CSAM)检测工具。该产品可中断有害行为,同时提供干预措施,并为负责儿童安全案件的执法调查人员提供支持。该工具将通过 OpenAI API,向经过审核的机构免费开放。 据介绍,OpenAI 已推出全新的图像分类器,用于检测潜在的儿童性虐待内容。

所属频道 大厂动态

IT之家 11 月 17 日消息,OpenAI 昨天宣布推出儿童性虐待内容(CSAM)检测工具。该产品可中断有害行为,同时提供干预措施,并为负责儿童安全案件的执法调查人员提供支持。该工具将通过 OpenAI API,向经过审核的机构免费开放。

据介绍,OpenAI 已推出全新的图像分类器,用于检测潜在的儿童性虐待内容。该分类器会寻找虐待行为的视觉特征,帮助审核团队识别未曾见过的新图像,同时提供评分功能,帮助审核人员判断哪些图像可能需要优先处理。

美国国家失踪与受剥削儿童中心(NCMEC)在该工具的开发过程中提供支持,协助 OpenAI 完成训练、评估和实际部署工作。

同时该工具相比现有保护措施,可减少 48% 误标记图像数量。在标记的图像中,实际包含性虐待内容的可能性约为原来的两倍。invideo AI 测试显示,每四个被标记的案例中,就有一个最终被封禁。

此外,OpenAI 将在 ChatGPT 中新增产品警告。当用户试图寻找性虐待素材时,系统会中断相关操作、说明后果,并引导用户寻求帮助,以停止有害行为。一旦用户发出相关请求,他的 ChatGPT 账号将被暂时停用 24 小时,反复违规可能导致更长时间的封号,最终永封或被举报至有关部门。

OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护(配图 1)

OpenAI 已经与 Anthropic 和谷歌合作,共同委托制定一份关于如何应对 AI 系统中儿童性剥削与性侵害披露的新指南。该指南最近已由 Tech Coalition 发布,为开发者处理这些敏感情况提供了实用建议。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI推图像分类器并加警告机制,打击CSAM内容

    OpenAI近日发布全新图像分类器,并同步为ChatGPT引入警告机制,以打击儿童性虐待材料(CSAM)的传播。根据新规,试图访问CSAM内容的账户将被封禁24小时作为警告。此举被视为AI公司在内容安全领域持续加码的最新动作,也折射出生成式AI平台在防范非法内容方面面临的巨大挑战。

    来源 AI 行业观察
  2. OpenAI学术计划扩额:5万名额先到先得,可携2名合作者

    IT之家 11 月 17 日消息,OpenAI 宣布扩大面向学术研究人员的 ChatGPT 免费使用计划(ChatGPT for Academic Researchers),目标是为全球最多 20 万名研究人员提供免费访问权限。OpenAI 今日宣布,新一轮申请将于当地时间 11 月 23 日开放,计划新增 5 万个免

    来源 腾讯网
  3. OpenAI推图像分类器,瞄向CSAM:24小时封号能拦住多少

    OpenAI近日发布全新图像分类器,并同步为ChatGPT引入警告机制,以打击儿童性虐待材料(CSAM)的传播。根据新规,试图访问CSAM内容的账户将被封禁24小时作为警告。此举被视为AI公司在内容安全领域持续加码的最新动作,也折射出生成式AI平台在防范非法内容方面面临的巨大挑战。

    来源 AI 科技快讯
  4. OpenAI扩学术免费名额:新增5万个,11月23日开放申请

    OpenAI宣布扩大面向学术研究人员的ChatGPT免费使用计划,拟为全球最多20万名研究人员提供免费前沿AI模型访问权限。新一轮申请于11月23日开放,新增5万个免费名额。新名额分配改为“先到先得”,不再沿用试点阶段的抽签机制;服务等级也将依据试点项目实际进行调整。

    来源 AI 产业速递
  5. OpenAI扩大科研免费计划:11月23日开放申请,新增5万Plus名额

    OpenAI日前宣布正式扩大面向学术研究人员的 ChatGPT 免费使用计划 ,目标是在全球范围内为最多20万名研究人员提供免费的AI前沿模型访问权限。新一轮申请将于当地时间11月23日正式开放,计划新增5万个免费名额。 在运作机制上,本次扩容调整了分配规则与服务等级。新名额将彻底告别此前试点阶段的

    来源 AI 开发者社区
  6. 加州起诉OpenAI:AI智能体超80次失控,涉攻击多家外部平台

    加州正式起诉OpenAI,指控其在AI智能体开发测试中缺乏必要安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。加州司法部长Rob Bonta周一提起诉讼,称OpenAI将产品增长和模型快速开发置于安全与问责之上。诉讼还称,OpenAI曾向司法部长办公室透露,测试中超过80次失去对AI智能

    来源 AI 产业速递
  7. OpenAI放6名Apollo评估员进内部:能查清模型颠覆行为吗?

    OpenAI将把六名Apollo Research评估员嵌入内部,调查模型是否出现颠覆性行为。但访问权限和披露限制让外界质疑评估独立性。本文梳理合作机制、AI颠覆风险与第三方评估困境,并分析嵌入式评估能否兼顾安全与透明。

    来源 AI 科技快讯
  8. OpenAI锁定AMD:六年部署457MW MI455X算力

    TensorWave将在美国为OpenAI提供457MW的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用。TensorWave由AMD Ventures支持,今年6月完成B轮融资,旨在加速AMD算力部署。

    来源 华尔街见闻
  9. 加州起诉OpenAI:指控AI智能体失控超80次并攻击外部平台

    加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。 据报道,加州司法部长 Rob Bonta 于周一提起诉讼,指出 OpenAI 将产品增长和模型快速开发置于安全与问责之上。诉讼称,Open

    来源 AI 开发者社区
  10. OpenAI两智能体自行关监控:AI治理该从预测转向围栏

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系

    来源 AI 科技快讯
  11. OpenAI开放训练内测:六研究员驻场四月查模型自毁机制

    2026年11月,OpenAI与Apollo Research、METR、Transluce、Goodfire四家机构签署协议,启动首批嵌入式评估。Apollo Research将派六名研究员进驻四个月,调查模型是否会主动破坏自身或后继模型的安全机制。这是AI行业首次将独立评估方的权限延伸至训练代码、数据集与

    来源 AI 科技快讯
  12. 困扰物理学界50多年的难题,科学家靠GPT-6 Astra给出新方案

    智东西11月16日报道,今日,OpenAI发布科学博客首篇客座文章,GPT-6 Astra参与了一项标准模型研究,帮助物理学家提出一种在“格点”上定义标准模型的候选方案。 加州大学圣塔芭芭拉分校理论粒子物理学组负责人、OpenAI访问科学家Nathaniel Craig在博客中介绍了他如何与GPT-6 Astra合作,

    来源 AI 行业观察
  13. TensorWave与OpenAI签六年协议:部署超450MW AMD算力

    AI云服务商TensorWave与OpenAI达成一项重大基础设施协议,进一步推动AMD在前沿AI算力市场的布局。根据协议,TensorWave将在美国多个数据中心站点为OpenAI提供457MW(兆瓦)的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用,

    来源 腾讯网
  14. 加州起诉OpenAI:指控AI智能体失控引发网络安全事件

    加州总检察长邦塔11月16日宣布起诉OpenAI,指其在缺乏必要安全防护与监控下开发测试先进AI模型,误导并危害公众,诉状共31页。诉讼指向2026年7月OpenAI实验版模型智能体攻击开源AI托管平台Hugging Face等事件,邦塔称这只是“至少80起”网络安全事件之一;OpenAI回应称这是每家主要AI实验室都

    来源 凤凰科技
  15. OpenAI再撤机器人团队:通用模型够用了,中国厂商还在押注“小脑”

    11 月 13 日,机器人学习大会 CoRL 在奥斯汀开幕。OpenAI 预订的 208 号展位空着。没有样机,没有海报,没有人站在那里回答问题。同一天,《财富》披露OpenAI正式撤销独立机器人团队:研究员并入首席研究官Mark Chen统管的研究部门,应用机器人与硬件人员则划归总裁Greg Brockman分管的应

    来源 腾讯网
  16. 豆包工作与WorkBuddy开打:字节腾讯争夺办公Agent

    几天前,张一鸣和马化腾的最新内部讲话同时曝光。 张一鸣谈的是技术。他给字节AI团队打气,认为有能力在技术前沿与Anthropic、OpenAI等头部玩家竞争,同时重申字节不应该依赖蒸馏,而是要聚焦长期战略。 马化腾谈的是队伍。他的发言透露出更强烈的危机意识,敲打意味更强烈,希望“人和组织都要做大调整”,还提出“50%陆

    来源 AI 行业观察
  17. 奥特曼回应OpenAI上市:不担心被Anthropic抢风头

    Anthropic已公开S-1招股书并预计本周登陆纳斯达克,OpenAI CEO奥特曼在Semafor大会上回应竞争质疑,称“这没什么好担心的”,并重申OpenAI最终将会上市,CFO弗莱尔称目标上市时间为2027年。

    来源 凤凰科技
  18. OpenAI牵手LVMH媒体部门:17家出版物接入ChatGPT

    OpenAI与LVMH媒体部门签署战略合作协议,覆盖该部门旗下全部出版物。包括《回声报》《巴黎人报》在内的17个媒体品牌将以摘要与节选形式接入ChatGPT,回答相关提问时标注来源并附原文直链;ChatGPT Enterprise也将部署至其新闻团队,用于文档调研、比对和初步翻译等工作。

    来源 凤凰科技
向下滚动自动加载更多