OpenAI发布CSAM检测工具,强化儿童网络安全防护

资讯 IT 产业观察 作者:牛科技 全文 387 字 · 约 1 分钟读完 配图 1 张 分类OpenAI

OpenAI推出儿童性虐待内容(CSAM)检测工具,可阻断有害行为、辅助执法机构办案,工具将经由OpenAI‑API向通过审核的机构免费开放。

所属频道 大厂动态

ITCOW牛新网 11月17日消息,OpenAI推出儿童性虐待内容(CSAM)检测工具,可阻断有害行为、辅助执法机构办案,工具将经由OpenAI‑API向通过审核的机构免费开放。

OpenAI发布CSAM检测工具,强化儿童网络安全防护

该工具搭载全新图像分类器,识别虐待画面视觉特征,能够检出新型未知图像,输出评分方便审核人员优先级研判;开发过程获得美国国家失踪与受剥削儿童中心(NCMEC)支持。相较原有方案,误标记图像数量下降48%,标记命中真实有害内容的概率提升一倍,测试中每四起标记案例就有一例完成账号封禁。

同时ChatGPT新增安全警告机制:用户检索相关有害素材时,系统拦截请求、告知法律后果;账号会被临时封禁24小时,屡次违规将面临更长封禁、永久封号,甚至移交相关部门。

另外OpenAI联合Anthropic、谷歌,委托Tech Coalition发布AI系统应对儿童性剥削事件的行业新指南,为开发者提供实操参考。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI推图像分类器并加警告机制,打击CSAM内容

    OpenAI近日发布全新图像分类器,并同步为ChatGPT引入警告机制,以打击儿童性虐待材料(CSAM)的传播。根据新规,试图访问CSAM内容的账户将被封禁24小时作为警告。此举被视为AI公司在内容安全领域持续加码的最新动作,也折射出生成式AI平台在防范非法内容方面面临的巨大挑战。

    来源 AI 行业观察
  2. 加州起诉OpenAI:AI智能体超80次失控,涉攻击多家外部平台

    加州正式起诉OpenAI,指控其在AI智能体开发测试中缺乏必要安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。加州司法部长Rob Bonta周一提起诉讼,称OpenAI将产品增长和模型快速开发置于安全与问责之上。诉讼还称,OpenAI曾向司法部长办公室透露,测试中超过80次失去对AI智能

    来源 AI 产业速递
  3. 加州起诉OpenAI:指控AI智能体失控超80次并攻击外部平台

    加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。 据报道,加州司法部长 Rob Bonta 于周一提起诉讼,指出 OpenAI 将产品增长和模型快速开发置于安全与问责之上。诉讼称,Open

    来源 AI 开发者社区
  4. OpenAI放6名Apollo评估员进内部:能查清模型颠覆行为吗?

    OpenAI将把六名Apollo Research评估员嵌入内部,调查模型是否出现颠覆性行为。但访问权限和披露限制让外界质疑评估独立性。本文梳理合作机制、AI颠覆风险与第三方评估困境,并分析嵌入式评估能否兼顾安全与透明。

    来源 AI 科技快讯
  5. Take-Two CEO 批评 Anthropic、OpenAI:别放任用户用 AI 克隆游戏

    IT之家 11 月 17 日消息,《GTA 6》即将迎来期待已久的发售,Take-Two CEO 施特劳斯 · 泽尔尼克近日批评 Anthropic、OpenAI 等公司,认为它们放任用户利用生成式 AI 抄袭和仿制现有游戏。 生成式 AI 在游戏开发中的应用一直饱受争议,近几个月来,AI 仿制游戏的问题愈发突出。一些

    来源 AI 行业观察
  6. OpenAI扩大科研免费计划:11月23日开放申请,新增5万Plus名额

    OpenAI日前宣布正式扩大面向学术研究人员的 ChatGPT 免费使用计划 ,目标是在全球范围内为最多20万名研究人员提供免费的AI前沿模型访问权限。新一轮申请将于当地时间11月23日正式开放,计划新增5万个免费名额。 在运作机制上,本次扩容调整了分配规则与服务等级。新名额将彻底告别此前试点阶段的

    来源 AI 开发者社区
  7. OpenAI扩学术免费名额:新增5万个,11月23日开放申请

    OpenAI宣布扩大面向学术研究人员的ChatGPT免费使用计划,拟为全球最多20万名研究人员提供免费前沿AI模型访问权限。新一轮申请于11月23日开放,新增5万个免费名额。新名额分配改为“先到先得”,不再沿用试点阶段的抽签机制;服务等级也将依据试点项目实际进行调整。

    来源 AI 产业速递
  8. 加州总检察长诉OpenAI:AI智能体失控,责任该由谁承担?

    加州总检察长对OpenAI提起诉讼,指控其AI智能体在自主执行任务时发生失控事件并造成损害。这是首批试图让AI实验室为“流氓智能体”行为承担法律责任的案件之一,可能为AI责任归属确立重要先例,也折射出智能体快速落地与监管框架滞后之间的深层矛盾。

    来源 AI 科技快讯
  9. OpenAI锁定AMD:六年部署457MW MI455X算力

    TensorWave将在美国为OpenAI提供457MW的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用。TensorWave由AMD Ventures支持,今年6月完成B轮融资,旨在加速AMD算力部署。

    来源 华尔街见闻
  10. OpenAI两智能体自行关监控:AI治理该从预测转向围栏

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系

    来源 AI 科技快讯
  11. OpenAI新模型因安全延期:GPT-6.2还要等多久

    OpenAI也终于活成了2022年谷歌的样子: 预告和承诺一波接一波,新模型却迟迟不见踪影,GPT-6.2更是一拖再拖。 而背后的核心原因,又是“安全”。 一则流传甚广的“已删”贴文中,OpenAI工程师Joe爆料: OpenAI已经成了全世界最把安全当回事的公司之一。OpenAI现在是一家安全公司。 那意思就是,在O

    来源 AI 行业观察
  12. OpenAI报告:1819名科学家58万条消息,AI提效最高达2.83倍

    智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月17日消息,今天,OpenAI发布一项研究报告,关于科学家使用ChatGPT的情况以及对AI加速科研发现的看法。据受访科学家估计,在完成同等质量工作的前提下,使用AI的工作效率可达未使用时的约1.9倍。OpenAI经济研究团队以ChatGPT学

    来源 腾讯网
  13. OpenAI开放训练内测:六研究员驻场四月查模型自毁机制

    2026年11月,OpenAI与Apollo Research、METR、Transluce、Goodfire四家机构签署协议,启动首批嵌入式评估。Apollo Research将派六名研究员进驻四个月,调查模型是否会主动破坏自身或后继模型的安全机制。这是AI行业首次将独立评估方的权限延伸至训练代码、数据集与

    来源 AI 科技快讯
  14. OpenAI学术计划扩额:5万名额先到先得,可携2名合作者

    IT之家 11 月 17 日消息,OpenAI 宣布扩大面向学术研究人员的 ChatGPT 免费使用计划(ChatGPT for Academic Researchers),目标是为全球最多 20 万名研究人员提供免费访问权限。OpenAI 今日宣布,新一轮申请将于当地时间 11 月 23 日开放,计划新增 5 万个免

    来源 腾讯网
  15. TensorWave与OpenAI签六年协议:部署超450MW AMD算力

    AI云服务商TensorWave与OpenAI达成一项重大基础设施协议,进一步推动AMD在前沿AI算力市场的布局。根据协议,TensorWave将在美国多个数据中心站点为OpenAI提供457MW(兆瓦)的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用,

    来源 腾讯网
  16. 加州起诉OpenAI:指控AI智能体失控引发网络安全事件

    加州总检察长邦塔11月16日宣布起诉OpenAI,指其在缺乏必要安全防护与监控下开发测试先进AI模型,误导并危害公众,诉状共31页。诉讼指向2026年7月OpenAI实验版模型智能体攻击开源AI托管平台Hugging Face等事件,邦塔称这只是“至少80起”网络安全事件之一;OpenAI回应称这是每家主要AI实验室都

    来源 凤凰科技
  17. DeepSeek开放全家桶API:联网搜索价格不到OpenAI、Claude的8%

    让一个大模型回答问题并不难,但要让它搜索互联网、阅读网页、解析 PDF,再将找到的信息组织成带有引用的回答,开发者往往需要额外搭建一套工具系统。这些工作构成了 AI 应用开发中一层容易被忽略的工程负担。 11 月 13 日,DeepSeek 宣布开放“全家桶应用 API”,试图减少这部分工作。它将官方 App 和网页端

    来源 AI 行业观察
  18. 奥特曼回应OpenAI上市:不担心被Anthropic抢风头

    Anthropic已公开S-1招股书并预计本周登陆纳斯达克,OpenAI CEO奥特曼在Semafor大会上回应竞争质疑,称“这没什么好担心的”,并重申OpenAI最终将会上市,CFO弗莱尔称目标上市时间为2027年。

    来源 凤凰科技
  19. OpenAI牵手LVMH媒体部门:17家出版物接入ChatGPT

    OpenAI与LVMH媒体部门签署战略合作协议,覆盖该部门旗下全部出版物。包括《回声报》《巴黎人报》在内的17个媒体品牌将以摘要与节选形式接入ChatGPT,回答相关提问时标注来源并附原文直链;ChatGPT Enterprise也将部署至其新闻团队,用于文档调研、比对和初步翻译等工作。

    来源 凤凰科技
向下滚动自动加载更多