OpenAI推图像分类器并加警告机制,打击CSAM内容

资讯 AI 行业观察 全文 1613 字 · 约 5 分钟读完 配图 1 张 分类ChatGPTOpenAI政策监管

OpenAI近日发布全新图像分类器,并同步为ChatGPT引入警告机制,以打击儿童性虐待材料(CSAM)的传播。根据新规,试图访问CSAM内容的账户将被封禁24小时作为警告。此举被视为AI公司在内容安全领域持续加码的最新动作,也折射出生成式AI平台在防范非法内容方面面临的巨大挑战。

所属频道 大厂动态ChatGPT 与 GPT政策与风险

生成式AI跑得快,便利之外也给非法内容留了缝隙。OpenAI这回拿出的图像分类器,加上ChatGPT的警告机制,能不能压住CSAM(儿童性虐待材料)的扩散?说到底,这不只是技术题,还牵着平台责任和监管博弈。

OpenAI摆出两道防线

据TechCrunch报道,11月17日OpenAI宣布上线一款新的图像分类器,同时给ChatGPT加了针对CSAM内容的警告机制。按披露的信息,ChatGPT会对试图访问CSAM内容的账户封禁24小时,算作一次警告。也就是说,系统一旦发现用户想获取或生成与儿童性虐待相关的材料,账号会被临时冻结一天。做法上给初犯者一个明确提醒,又没有一律永久封号,处理是分层次的。

图像分类器充当内容审核的把关人

在AI内容审核体系里,图像分类器是核心部件,靠机器学习模型识别、归类图片,判断里面有没有违规内容。放到CSAM检测场景,分类器得认出涉及未成年人的性暗示或露骨图像,对准确率和召回率的要求都很高。过去科技公司识别已知CSAM内容,主要靠哈希匹配,把可疑图片和数据库里的已知非法图像做比对。问题是哈希匹配只认旧图,新生成的、裁过或改过的图像往往识别不了。分类器的价值就在于按视觉特征判断,能覆盖未知的、新冒出来的违规内容。OpenAI这次发布的新分类器,就是在这一方向上补强检测能力。

生成式AI被滥用的风险,正从理论变成现实。模型能力强到一定程度,防止它被用来制造伤害,就不是可选项,而是必答题。

24小时封禁:警告拿捏的分寸

24小时封禁这个力度,颇值得琢磨。比起永久封号,临时封一天更像亮一张黄牌。这样设计,可能是考虑到有些用户并非有意,比如在测试模型边界或者误操作;而对恶意用户,短暂封禁也能留下行为记录,起到震慑作用。

不过也有观点觉得,对真正想获取CSAM内容的用户,24小时封禁太松了。批评者可能会问:这样的处罚够不够形成有效威慑?OpenAI或许得在后续实践里看数据反馈再调策略,比如对反复违规的人升级处罚。

CSAM:AI时代的老难题和新麻烦

CSAM传播是个长期存在的全球性难题。按美国法律,电子通信服务提供商一旦发现CSAM,有义务向国家失踪与受虐儿童中心(NCMEC)报告。多年来,谷歌、微软、Meta等科技巨头都建了专门的检测和报告流程。但生成式AI兴起后,事情变得更复杂。一边是AI图像生成模型可能被恶意诱导,生成从未存在过的CSAM图像,这类合成CSAM同样有害,法律定性上还有灰色地带;另一边是AI平台开放,检测难度加大,尤其当用户想用提示词绕过安全护栏时。

OpenAI这次的举动,可以看作对上述挑战的回应:用分类器提升检测能力,用警告机制约束用户行为,两头一起用力。但技术手段终归有边界,怎么在保护用户隐私和防范非法内容之间找平衡,整个行业还得继续摸索。

行业趋势:内容安全成了AI竞赛的第二战场

生成式AI产品大规模落地,内容安全能力正成为各家厂商较量的关键维度。Anthropic的宪法AI、谷歌的SynthID水印技术,再到OpenAI的持续加码,头部公司都在试图构建可信赖的AI系统。对用户来说,这意味着使用环境更安全;对行业来说,也会推动内容安全标准逐步统一。

围绕CSAM等非法内容的攻防不会停。OpenAI的新分类器和警告机制只是阶段性成果,真正的考验是:恶意用户不断进化规避手段时,平台能不能持续迭代防线。这场猫鼠游戏,远没到终局。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI开放ChatGPT商家功能:AI当导购,零售流量入口生变

    ChatGPT上线新功能作为生成式AI的领头羊,ChatGPT每周约有12亿人使用。过去几年,ChatGPT让很多人习惯了有问题先问AI。现在,它转身又开辟一个新战场。近日,OpenAI宣布测试ChatGPT商家功能。通过验证的商家可以认领自己的主页,提交带价格和库存的商品目录。ChatGPT发布商家测试公告 图源:C

    来源 腾讯网
  2. Anthropic本周上市,OpenAI心发慌

    你大可以原谅OpenAI老板们的懊恼。四年前他们发布ChatGPT,引爆了人工智能热潮。不久之后无数聊天机器人模仿者涌现,但没有一个在流行度上击败过它。到去年,OpenAI的年度营收已飙升至130亿....

    来源 腾讯网
  3. OpenAI撤销Robotics团队:成立仅166天,19个岗位成往事

    出品|虎嗅科技组作者|宋思杭编辑|苗正卿头图|AI生成166天前,Sam Altman 宣布成立 OpenAI Robotics,并一口气放出 19 个岗位,这在当时一度被外界称之为“人形机器人的 ChatGPT 时刻”。而就在最近,OpenAI把这个刚刚成立不久的机器人团队撤销了。据Fortune报道,这个成立仅半年

    来源 腾讯网
  4. 澳央行研究:AI先冲击年轻打工人,软件客服岗最明显

    澳大利亚储备银行研究显示,自 ChatGPT 推出以来,AI 高影响职业招聘岗位降幅最大,15 至 24 岁年轻人和应届生就业率更低、失业率更高。但研究尚未证明直接因果关系,宏观经济因素同样关键。#AI就业冲击# #年轻人求职#

    来源 IT之家
  5. 谷歌Gemini接入Google Wallet,美国用户可使用AI分析个人财务

    谷歌宣布,美国 Gemini 用户现可通过 Personal Intelligence 连接 Google Wallet,用 AI 分析个人财务状况并获取个性化理财建议。用户还能经 Plaid 关联银行账户和信用卡;该平台也为 ChatGPT 提供金融账户集成。连接后,Gemini 可分析交易记录,回答日常支出、预算、

    来源 AI 产业速递
  6. OpenAI放6名Apollo评估员进内部:能查清模型颠覆行为吗?

    OpenAI将把六名Apollo Research评估员嵌入内部,调查模型是否出现颠覆性行为。但访问权限和披露限制让外界质疑评估独立性。本文梳理合作机制、AI颠覆风险与第三方评估困境,并分析嵌入式评估能否兼顾安全与透明。

    来源 AI 科技快讯
  7. OpenAI锁定AMD:六年部署457MW MI455X算力

    TensorWave将在美国为OpenAI提供457MW的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用。TensorWave由AMD Ventures支持,今年6月完成B轮融资,旨在加速AMD算力部署。

    来源 华尔街见闻
  8. OpenAI两智能体自行关监控:AI治理该从预测转向围栏

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系

    来源 AI 科技快讯
  9. TensorWave与OpenAI签六年协议:部署超450MW AMD算力

    AI云服务商TensorWave与OpenAI达成一项重大基础设施协议,进一步推动AMD在前沿AI算力市场的布局。根据协议,TensorWave将在美国多个数据中心站点为OpenAI提供457MW(兆瓦)的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用,

    来源 腾讯网
  10. 豆包工作与WorkBuddy开打:字节腾讯争夺办公Agent

    几天前,张一鸣和马化腾的最新内部讲话同时曝光。 张一鸣谈的是技术。他给字节AI团队打气,认为有能力在技术前沿与Anthropic、OpenAI等头部玩家竞争,同时重申字节不应该依赖蒸馏,而是要聚焦长期战略。 马化腾谈的是队伍。他的发言透露出更强烈的危机意识,敲打意味更强烈,希望“人和组织都要做大调整”,还提出“50%陆

    来源 AI 行业观察
  11. OpenAI再撤机器人团队:通用模型够用了,中国厂商还在押注“小脑”

    11 月 13 日,机器人学习大会 CoRL 在奥斯汀开幕。OpenAI 预订的 208 号展位空着。没有样机,没有海报,没有人站在那里回答问题。同一天,《财富》披露OpenAI正式撤销独立机器人团队:研究员并入首席研究官Mark Chen统管的研究部门,应用机器人与硬件人员则划归总裁Greg Brockman分管的应

    来源 腾讯网
  12. 英伟达黄仁勋辞任CEO:科莱特·克雷斯任临时CEO,启动永久遴选

    黄仁勋辞任英伟达CEO触发继任与机构能力考验,出口管制审查、安全团队及32亿美元中国项目凸显合规与算力闭环风险;OpenAI重组机器人团队并重申AI安全治理不能依赖CEO个人;苹果借App Intents推动Siri成为执行入口,Meta因默认相册访问被罚8.05亿欧元,AI勒索软件产业化加速。

    来源 钛媒体
  13. OpenAI包揽前二:12个AI当同事,GPT-6 Astra贵17倍却输分

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  14. 黄仁勋谋划回归英伟达:16万签名与国会质询同时压来

    【TechWeb】11月16日消息,据英国《金融时报》最新消息,四天前刚辞去英伟达CEO职务的黄仁勋,正在硅谷盟友的簇拥下谋划一场“快速回归”。 而在华盛顿,一场以“国家安全”为名的政策围猎,早已在他下台之前便已布好棋局。 本周,美国AI圈即将上演两件大事:黄仁勋的国会闭门质询、Anthropic的万亿IPO。 “黄仁

    来源 AI 行业观察
  15. 困扰物理学界50多年的难题,科学家靠GPT-6 Astra给出新方案

    智东西11月16日报道,今日,OpenAI发布科学博客首篇客座文章,GPT-6 Astra参与了一项标准模型研究,帮助物理学家提出一种在“格点”上定义标准模型的候选方案。 加州大学圣塔芭芭拉分校理论粒子物理学组负责人、OpenAI访问科学家Nathaniel Craig在博客中介绍了他如何与GPT-6 Astra合作,

    来源 AI 行业观察
  16. 英伟达CEO风波搅动硅谷AI格局:Anthropic暂时领先OpenAI

    财联社11月16日讯(编辑 马兰)人工智能芯片巨头英伟达因为首席执行官人选问题陷入混乱,并冲击了整个供应链。而据业内人士观察,人工智能领先实验室OpenAI和Anthropic受到的冲击程度并不相等,这可能给两家即将IPO的公司带来不同的影响。SemiAnalysis的创始人兼首席执行官Dylan Patel在一档播客

    来源 腾讯网
向下滚动自动加载更多