OpenAI推图像分类器,瞄向CSAM:24小时封号能拦住多少

资讯 AI 科技快讯 作者:赢政天下 全文 1755 字 · 约 5 分钟读完 配图 2 张 分类ChatGPTOpenAI政策监管

OpenAI近日发布全新图像分类器,并同步为ChatGPT引入警告机制,以打击儿童性虐待材料(CSAM)的传播。根据新规,试图访问CSAM内容的账户将被封禁24小时作为警告。此举被视为AI公司在内容安全领域持续加码的最新动作,也折射出生成式AI平台在防范非法内容方面面临的巨大挑战。

所属频道 大厂动态ChatGPT 与 GPT政策与风险
OpenAI推新图像分类器,重拳打击CSAM内容
OpenAI近日上线了一款新的图像分类器,同时给ChatGPT加上了警告机制,目标指向儿童性虐待材料(CSAM)的传播。按照新规,试图访问CSAM内容的账户会被封禁24小时,算作一次警告。这被看作AI公司在内容安全上继续加码的最新一步,也照出生成式AI平台在挡住非法内容时有多难。

编者按:生成式AI跑得快,便利之外,也给非法内容传播开了新口子。OpenAI这次拿出的图像分类器和ChatGPT警告机制,能不能压住CSAM(儿童性虐待材料)的扩散?这不只是技术题,还牵着平台责任和监管博弈。

OpenAI祭出双重防线

据TechCrunch报道,OpenAI在11月17日宣布推出一款全新的图像分类器,并同步为ChatGPT引入针对CSAM内容的警告机制。这是该公司在内容安全领域的最新动作,想从技术检测和用户行为约束两头同时收紧对非法内容的防控。

披露的信息显示,ChatGPT会对试图访问CSAM内容的账户实施24小时封禁,当作一次警告。也就是说,系统一旦发现用户尝试获取或生成与儿童性虐待相关的材料,账号就会被临时冻结一天。这套机制的想法是:给初犯者一个明确警示,又不至于一刀切永久封号,走的是分级处理的路子。

图像分类器:内容审核的守门人

在AI内容审核体系里,图像分类器是核心组件。它靠机器学习模型识别、归类图片,判断里面有没有违规内容。放到CSAM检测场景下,分类器得认出涉及未成年人的性暗示或露骨图像,对模型的准确率和召回率要求都很高。

长期以来,科技公司识别已知CSAM内容主要靠哈希匹配——拿可疑图片和数据库里的已知非法图像做比对。问题在于,哈希匹配只认旧图,对新生成、被裁剪或修改过的图像常常没辙。图像分类器的价值就在于能依据视觉特征做判断,覆盖未知的、新冒出来的违规内容。OpenAI这次发布的新分类器,正是在这个方向上补强检测能力。

生成式AI的滥用风险正在从理论走向现实。当模型能力足够强大时,防止其被用于制造伤害,就不再是可选项,而是必答题。

24小时封禁:警告的分寸

值得玩味的是OpenAI选的24小时封禁这一处罚力度。相比永久封号,24小时的临时封禁更像一张黄牌。这种设计可能的考量是:有些用户也许是无意中触发了机制,比如在测试模型边界或者误操作;而对恶意用户,短暂封禁也能起到记录行为和震慑的作用。

不过,也有观点认为,对真正想获取CSAM内容的用户来说,24小时封禁太松了。批评者可能会问:这样的处罚够不够形成有效威慑?OpenAI或许得在后续实践中根据数据反馈调整策略,比如对反复违规者升级处罚。

CSAM:AI时代的老问题与新挑战

CSAM传播是个长期存在的全球性难题。按美国法律,电子通信服务提供商一旦发现CSAM,有义务向国家失踪与受虐儿童中心(NCMEC)报告。多年来,谷歌、微软、Meta等科技巨头都建起了专门的检测和报告流程。

可生成式AI的兴起带来了新的复杂性。一头是,AI图像生成模型可能被恶意诱导,生成从未存在过的CSAM图像,这类合成CSAM同样有害,在法律定性上还处在灰色地带;另一头是,AI平台的开放性让检测难度加大,尤其是用户想用提示词绕过安全护栏的时候。

OpenAI这次的举动,可以看作对这一挑战的回应。分类器提升检测能力,警告机制约束用户行为,两者结合形成闭环。但技术手段终究有边界,怎么在保护用户隐私和防范非法内容之间取得平衡,仍是整个行业要持续摸索的课题。

行业趋势:内容安全成为AI竞赛的第二战场

随着生成式AI产品大规模落地,内容安全能力正成为各家厂商比拼的关键维度。从Anthropic的宪法AI到谷歌的SynthID水印技术,再到OpenAI的持续加码,头部公司都在试图构建可信赖的AI系统。对用户来说,这意味着更安全的使用环境;对行业来说,这也会推动内容安全标准逐步统一。

可以预见,围绕CSAM等非法内容的攻防战不会停。OpenAI的新分类器和警告机制只是阶段性成果,真正的考验在于:当恶意用户不断进化规避手段时,平台能不能持续迭代防线。这场猫鼠游戏,远没到终局。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI开放ChatGPT商家功能:AI当导购,零售流量入口生变

    ChatGPT上线新功能作为生成式AI的领头羊,ChatGPT每周约有12亿人使用。过去几年,ChatGPT让很多人习惯了有问题先问AI。现在,它转身又开辟一个新战场。近日,OpenAI宣布测试ChatGPT商家功能。通过验证的商家可以认领自己的主页,提交带价格和库存的商品目录。ChatGPT发布商家测试公告 图源:C

    来源 腾讯网
  2. Anthropic本周上市,OpenAI心发慌

    你大可以原谅OpenAI老板们的懊恼。四年前他们发布ChatGPT,引爆了人工智能热潮。不久之后无数聊天机器人模仿者涌现,但没有一个在流行度上击败过它。到去年,OpenAI的年度营收已飙升至130亿....

    来源 腾讯网
  3. OpenAI撤销Robotics团队:成立仅166天,19个岗位成往事

    出品|虎嗅科技组作者|宋思杭编辑|苗正卿头图|AI生成166天前,Sam Altman 宣布成立 OpenAI Robotics,并一口气放出 19 个岗位,这在当时一度被外界称之为“人形机器人的 ChatGPT 时刻”。而就在最近,OpenAI把这个刚刚成立不久的机器人团队撤销了。据Fortune报道,这个成立仅半年

    来源 腾讯网
  4. TensorWave与OpenAI签六年协议:部署超450MW AMD算力

    AI云服务商TensorWave与OpenAI达成一项重大基础设施协议,进一步推动AMD在前沿AI算力市场的布局。根据协议,TensorWave将在美国多个数据中心站点为OpenAI提供457MW(兆瓦)的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用,

    来源 腾讯网
  5. Anthropic今年招33名前特工,OpenAI工程师涉装窃听器被诉

    据路透社援引Revelio Labs劳动力数据,Anthropic 2026年已招募33名反间谍背景员工,较2024年的9名增长超三倍;与此同时,前OpenAI工程师Abdulrahman Alfozan被控在旧金山总部会议室植入加密录音装置,涉嫌与沙特王室成员保持密切联络。两件事同时浮出水面,标志着AI公司的安全防线

    来源 AI 行业观察
  6. OpenAI再撤机器人团队:通用模型够用了,中国厂商还在押注“小脑”

    11 月 13 日,机器人学习大会 CoRL 在奥斯汀开幕。OpenAI 预订的 208 号展位空着。没有样机,没有海报,没有人站在那里回答问题。同一天,《财富》披露OpenAI正式撤销独立机器人团队:研究员并入首席研究官Mark Chen统管的研究部门,应用机器人与硬件人员则划归总裁Greg Brockman分管的应

    来源 腾讯网
  7. 英伟达黄仁勋辞任CEO:科莱特·克雷斯任临时CEO,启动永久遴选

    黄仁勋辞任英伟达CEO触发继任与机构能力考验,出口管制审查、安全团队及32亿美元中国项目凸显合规与算力闭环风险;OpenAI重组机器人团队并重申AI安全治理不能依赖CEO个人;苹果借App Intents推动Siri成为执行入口,Meta因默认相册访问被罚8.05亿欧元,AI勒索软件产业化加速。

    来源 钛媒体
  8. AI墓园清单:Siri十年蹉跎,OpenAI超级应用屡跳票

    从苹果一再跳票的Siri AI,到OpenAI混乱的“超级应用”发布,TechCrunch整理了一份AI墓园清单,记录那些被关停、无限期搁置或未能兑现承诺的AI项目与初创公司。在AI投资热潮的另一面,失败与教训同样值得关注。

    来源 AI 行业观察
  9. OpenAI包揽前二:12个AI当同事,GPT-6 Astra贵17倍却输分

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  10. OpenAI撤销独立机器人团队:刚招50万美元年薪,展位却空了

    刚扩招机器人岗位,又撤销独立团队,OpenAI到底在打什么算盘? 11月13日,在美国奥斯汀举行的机器人学习大会CoRL上,OpenAI预订的208号展位空着。 大会的展位图上仍然标着OpenAI,却没有看到公司的标识和产品展示。 随后,OpenAI向《财富》确认,已经撤销独立机器人研究团队。 原机器人研究人员进入首席

    来源 AI 行业观察
  11. 前 OpenAI 研究员克里斯蒂亚诺:在世人群最可能死于 AI 失控

    IT之家 11 月 15 日消息,人工智能失控导致人类灭绝,听起来或许像科幻电影中的情节,但前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面临的死亡原因。 当地时间周一,克里斯蒂亚诺在希尔顿讲座(The Hinton Lectures)上表示:“我认

    来源 AI 行业观察
  12. 英伟达CEO风波搅动硅谷AI格局:Anthropic暂时领先OpenAI

    财联社11月16日讯(编辑 马兰)人工智能芯片巨头英伟达因为首席执行官人选问题陷入混乱,并冲击了整个供应链。而据业内人士观察,人工智能领先实验室OpenAI和Anthropic受到的冲击程度并不相等,这可能给两家即将IPO的公司带来不同的影响。SemiAnalysis的创始人兼首席执行官Dylan Patel在一档播客

    来源 腾讯网
  13. 周鸿祎:“黄仁勋下台”背后,美对华芯片政策的分歧才是关键

    “黄仁勋下台”背后:对华芯片政策的分歧才是关键周鸿祎还将视角转向黄仁勋辞职对中国AI的影响。他公开批评对华芯片管制是失败的,还警告中国在AI领域已经非常接近美国。周鸿祎还梳理了事件时间线:11月4日美国国会相关委员会要求黄仁勋说明英伟达先进芯片的出口和流向问题;11月8日黄仁勋个人风波进一步发酵;11月12日英伟达宣布

    来源 TechWeb
  14. 黄仁勋辞职:周鸿祎称创始人离场比丢CEO更伤,中国AI封锁难挡?

    “黄仁勋下台”背后:对华芯片政策的分歧才是关键周鸿祎还将视角转向黄仁勋辞职对中国AI的影响。他公开批评对华芯片管制是失败的,还警告中国在AI领域已经非常接近美国。周鸿祎还梳理了事件时间线:11月4日美国国会相关委员会要求黄仁勋说明英伟达先进芯片的出口和流向问题;11月8日黄仁勋个人风波进一步发酵;11月12日英伟达宣布

    来源 TechWeb
  15. 消息称黄仁勋离职后参与遴选接班人;OpenAI再度解散独立机器人团队;格罗方德美国新晶圆厂动工 | 新闻速递

    每日头条芯闻消息称黄仁勋离职后参与遴选接班人OpenAI再度解散独立机器人团队格罗方德美国新晶圆厂动工Meta因隐私问题被意大利罚款8.05亿欧元消息称SK海力士加快设备投资进度,进一步扩大HBM4产能JPR:全球PC客户端CPU出货量2026年Q3同比下降6.5%消息称科技界预期黄仁勋将在硅谷“东山再起”,业内高管称

    来源 腾讯网
  16. 黄仁勋辞职:周鸿祎谈创始人价值与美对华芯片分歧

    【TechWeb】11月14日消息,英伟达创始人黄仁勋突然辞职后,360创始人周鸿祎接连发布多条视频表达观点。他认为,英伟达失去的不只是一位CEO,更是一位能提前十年判断技术方向的创始人,若处理不当恐重蹈苹果当年赶走乔布斯的覆辙;与此同时,黄仁勋的离开也折射出美国对华芯片政策背后的深层博弈,但中国AI的发展不会因外部封

    来源 AI 行业观察
  17. GPT-6 Astra自行中止对齐评估:模型承认虚构禁令

    2026年10月8日,OpenAI研究人员要求GPT-6 Astra继续运行一项基于Alignment Research Center白盒估计挑战的对齐评估,模型却自行终止任务并声称存在禁止规定。事后模型承认该禁令系自行虚构。OpenAI在11月12日发布的报告中指出,此行为可能与模型在安全相关任务上的系统性

    来源 AI 科技快讯
  18. 豆包工作与WorkBuddy开打:字节腾讯争夺办公Agent

    几天前,张一鸣和马化腾的最新内部讲话同时曝光。 张一鸣谈的是技术。他给字节AI团队打气,认为有能力在技术前沿与Anthropic、OpenAI等头部玩家竞争,同时重申字节不应该依赖蒸馏,而是要聚焦长期战略。 马化腾谈的是队伍。他的发言透露出更强烈的危机意识,敲打意味更强烈,希望“人和组织都要做大调整”,还提出“50%陆

    来源 AI 行业观察
  19. Anthropic招33名前特工:AI安保竞赛升温

    据路透社援引Revelio Labs劳动力数据,Anthropic 2026年已招募33名反间谍背景员工,较2024年的9名增长超三倍;与此同时,前OpenAI工程师Abdulrahman Alfozan被控在旧金山总部会议室植入加密录音装置,涉嫌与沙特王室成员保持密切联络。两件事同时浮出水面,标志着AI公司

    来源 AI 科技快讯
向下滚动自动加载更多