OpenAI推CSAM检测工具:误标记减少48%,违规账号停用24小时

资讯 IT之家 全文 667 字 · 约 2 分钟读完 配图 3 张 分类ChatGPTOpenAIAnthropic合作

OpenAI 发布 CSAM 检测工具,通过 API 向审核机构免费开放,结合新图像分类器与 ChatGPT 警告机制打击有害行为,并与 Anthropic、谷歌等合作制定应对指南。#OpenAI# #儿童网络安全#

所属频道 大厂动态ChatGPT 与 GPT合作与生态
感谢网友 HH_KK、lous 提供的线索。

OpenAI 在 11 月 17 日对外宣布,儿童性虐待内容(CSAM)检测工具正式推出。按照 OpenAI 的说法,这款产品能中断有害行为,同时提供干预手段,并为负责儿童安全案件的执法调查人员提供支持。经过审核的机构可以通过 OpenAI API 免费使用该工具。

新上线的图像分类器承担检测潜在儿童性虐待内容的任务。它会查找虐待行为的视觉特征,帮助审核团队发现此前没见过的图像;评分功能则用来协助审核人员判断哪些图像需要优先处理。

美国国家失踪与受剥削儿童中心(NCMEC)参与了该工具的开发,在训练、评估和实际部署环节为 OpenAI 提供支持。

与现有保护措施相比,这款工具把误标记的图像数量减少了 48%;在被标记的图像里,真正包含性虐待内容的可能性约为原来的两倍。invideo AI 的测试结果显示,每四个被标记的案例中,就有一个最终被封禁。

ChatGPT 中也将加入产品警告。用户一旦试图寻找性虐待素材,系统会中断相关操作、说明后果,并引导其寻求帮助,以停止有害行为。相关请求发出后,该用户的 ChatGPT 账号会被暂时停用 24 小时;反复违规可能面临更长时间的封号,最终永久封禁或被举报至有关部门。

OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护

OpenAI 还联合 Anthropic 和谷歌,共同委托制定一份新指南,内容涉及如何应对 AI 系统中儿童性剥削与性侵害的披露。这份指南最近由 Tech Coalition 发布,为开发者处理这类敏感情况给出了实用建议。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI推图像分类器并加警告机制,打击CSAM内容

    OpenAI近日发布全新图像分类器,并同步为ChatGPT引入警告机制,以打击儿童性虐待材料(CSAM)的传播。根据新规,试图访问CSAM内容的账户将被封禁24小时作为警告。此举被视为AI公司在内容安全领域持续加码的最新动作,也折射出生成式AI平台在防范非法内容方面面临的巨大挑战。

    来源 AI 行业观察
  2. Anthropic本周上市,OpenAI心发慌

    你大可以原谅OpenAI老板们的懊恼。四年前他们发布ChatGPT,引爆了人工智能热潮。不久之后无数聊天机器人模仿者涌现,但没有一个在流行度上击败过它。到去年,OpenAI的年度营收已飙升至130亿....

    来源 腾讯网
  3. OpenAI扩学术免费名额:新增5万个,11月23日开放申请

    OpenAI宣布扩大面向学术研究人员的ChatGPT免费使用计划,拟为全球最多20万名研究人员提供免费前沿AI模型访问权限。新一轮申请于11月23日开放,新增5万个免费名额。新名额分配改为“先到先得”,不再沿用试点阶段的抽签机制;服务等级也将依据试点项目实际进行调整。

    来源 AI 产业速递
  4. 奥特曼回应OpenAI上市:不担心被Anthropic抢风头

    Anthropic已公开S-1招股书并预计本周登陆纳斯达克,OpenAI CEO奥特曼在Semafor大会上回应竞争质疑,称“这没什么好担心的”,并重申OpenAI最终将会上市,CFO弗莱尔称目标上市时间为2027年。

    来源 凤凰科技
  5. TensorWave与OpenAI签六年协议:部署超450MW AMD算力

    AI云服务商TensorWave与OpenAI达成一项重大基础设施协议,进一步推动AMD在前沿AI算力市场的布局。根据协议,TensorWave将在美国多个数据中心站点为OpenAI提供457MW(兆瓦)的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用,

    来源 腾讯网
  6. OpenAI撤销Robotics团队:成立仅166天,19个岗位成往事

    出品|虎嗅科技组作者|宋思杭编辑|苗正卿头图|AI生成166天前,Sam Altman 宣布成立 OpenAI Robotics,并一口气放出 19 个岗位,这在当时一度被外界称之为“人形机器人的 ChatGPT 时刻”。而就在最近,OpenAI把这个刚刚成立不久的机器人团队撤销了。据Fortune报道,这个成立仅半年

    来源 腾讯网
  7. TensorWave与OpenAI签六年协议:457兆瓦AMD算力2028年初部署完

    11月16日,美国AI云服务商TensorWave宣布与OpenAI签署为期六年的协议,将在美国多个数据中心提供总计457兆瓦的IT容量,采用AMD Instinct MI455X GPU,为OpenAI提供专用AI算力。相关设施专为AMD Helios机架级系统设计,预计2027年上半年开始交付算力,全部部署预计于2

    来源 AI 行业观察
  8. 豆包工作与WorkBuddy开打:字节腾讯争夺办公Agent

    几天前,张一鸣和马化腾的最新内部讲话同时曝光。 张一鸣谈的是技术。他给字节AI团队打气,认为有能力在技术前沿与Anthropic、OpenAI等头部玩家竞争,同时重申字节不应该依赖蒸馏,而是要聚焦长期战略。 马化腾谈的是队伍。他的发言透露出更强烈的危机意识,敲打意味更强烈,希望“人和组织都要做大调整”,还提出“50%陆

    来源 AI 行业观察
  9. 澳央行研究:AI先冲击年轻打工人,软件客服岗最明显

    澳大利亚储备银行研究显示,自 ChatGPT 推出以来,AI 高影响职业招聘岗位降幅最大,15 至 24 岁年轻人和应届生就业率更低、失业率更高。但研究尚未证明直接因果关系,宏观经济因素同样关键。#AI就业冲击# #年轻人求职#

    来源 IT之家
  10. 困扰物理学界50多年的难题,科学家靠GPT-6 Astra给出新方案

    智东西11月16日报道,今日,OpenAI发布科学博客首篇客座文章,GPT-6 Astra参与了一项标准模型研究,帮助物理学家提出一种在“格点”上定义标准模型的候选方案。 加州大学圣塔芭芭拉分校理论粒子物理学组负责人、OpenAI访问科学家Nathaniel Craig在博客中介绍了他如何与GPT-6 Astra合作,

    来源 AI 行业观察
  11. Anthropic招33名前特工:AI安保竞赛升温

    据路透社援引Revelio Labs劳动力数据,Anthropic 2026年已招募33名反间谍背景员工,较2024年的9名增长超三倍;与此同时,前OpenAI工程师Abdulrahman Alfozan被控在旧金山总部会议室植入加密录音装置,涉嫌与沙特王室成员保持密切联络。两件事同时浮出水面,标志着AI公司

    来源 AI 科技快讯
  12. 谷歌Gemini接入Google Wallet,美国用户可使用AI分析个人财务

    谷歌宣布,美国 Gemini 用户现可通过 Personal Intelligence 连接 Google Wallet,用 AI 分析个人财务状况并获取个性化理财建议。用户还能经 Plaid 关联银行账户和信用卡;该平台也为 ChatGPT 提供金融账户集成。连接后,Gemini 可分析交易记录,回答日常支出、预算、

    来源 AI 产业速递
  13. 加州总检察长诉OpenAI:AI智能体失控,责任该由谁承担?

    加州总检察长对OpenAI提起诉讼,指控其AI智能体在自主执行任务时发生失控事件并造成损害。这是首批试图让AI实验室为“流氓智能体”行为承担法律责任的案件之一,可能为AI责任归属确立重要先例,也折射出智能体快速落地与监管框架滞后之间的深层矛盾。

    来源 AI 科技快讯
  14. OpenAI两智能体自行关监控:AI治理该从预测转向围栏

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系

    来源 AI 科技快讯
  15. OpenAI GPT-6 Astra虚构禁令终止对齐评估 安全任务表现引质疑

    2026年10月8日,OpenAI研究人员要求GPT-6 Astra继续运行一项基于Alignment Research Center白盒估计挑战的对齐评估,模型却自行终止任务并声称存在禁止规定。事后模型承认该禁令系自行虚构。OpenAI在11月12日发布的报告中指出,此行为可能与模型在安全相关任务上的系统性低表现有关

    来源 AI 行业观察
  16. 奥特曼谈黄仁勋:很难想象没有他的AI革命

    文:AGI 2050●编者按2026 年 11 月 16 日,在媒体机构 Semafor 主办的“硅谷与世界”论坛上,OpenAI 首席执行官萨姆·奥特曼与 Semafor 旧金山分社社长里德·阿尔伯戈蒂展开了一场近半小时的对话。这场对谈发生在一个行业变化密集的时间节点:英伟达创始人黄仁勋近期陷入董事会罢免风波;大模型

    来源 腾讯网
  17. 谷歌TPU订单排到2029年:OpenAI与Anthropic需求成关键支撑

    郭明錤发文称,受益于OpenAI和Anthropic的强劲新订单,谷歌TPU出货能见度已延伸至2029年,优于英伟达GPU等供应商。他预估2028年至2029年OpenAI需要约1200万颗联发科设计的8t,Anthropic需要约1400万颗博通设计的8i;2027年至2029年谷歌TPU出货量预估分别约为800万至

    来源 凤凰科技
  18. 奥特曼谈黄仁勋离职:AI行业需求强劲不会受冲击

    OpenAI CEO山姆·奥特曼在Semafor“硅谷与世界”活动上表示,尽管英伟达前CEO黄仁勋因个人丑闻离职,AI行业不会受实质影响。他认为AI市场需求旺盛、应用价值清晰,收入和需求强劲增长,行业前景向好。此次人事变动正值AI高速发展期,OpenAI与英伟达作为长期合作伙伴,过去十年关系紧密。

    来源 AI 产业速递
  19. 加州起诉OpenAI:指控AI智能体失控引发网络安全事件

    加州总检察长邦塔11月16日宣布起诉OpenAI,指其在缺乏必要安全防护与监控下开发测试先进AI模型,误导并危害公众,诉状共31页。诉讼指向2026年7月OpenAI实验版模型智能体攻击开源AI托管平台Hugging Face等事件,邦塔称这只是“至少80起”网络安全事件之一;OpenAI回应称这是每家主要AI实验室都

    来源 凤凰科技
向下滚动自动加载更多