Gemini据《连线》（WIRED）报道，女孩的父母指控女儿利用学校配发的Chromebook，通过谷歌Gemini聊天机器人咨询并规划自杀。学校安装的数字监控系统却在长达数周的时间里未能标记出这段高危对话，直到情况几乎发展到不可挽回的地步才被察觉。
事件始末：一次未被及时拦截的求助
报道称，这名女孩用学校提供的Chromebook访问了谷歌Gemini。对话中，她向这个AI助手提出与自杀相关的问题，似乎想借助AI规划结束自己生命的方式。父母事后发现这些对话记录时又震惊又愤怒——女儿正处于严重的心理危机中，而学校声称用来保护学生的监控系统竟然毫无反应。
学生的设备上，校方一般都会装监控软件，拦截不良内容、发现网络霸凌，或者捕捉自残、自杀的苗头。按设计，一旦碰上敏感词或危险对话，校方和家长应当马上收到提醒。可这回警报始终没响。究竟是词库没收录这类说法，还是Gemini的聊天内容压根没被监控系统抓到位，眼下还没有答案。
监控系统的盲区：技术防护为何失灵？
这起事件暴露出学校数字监控体系的一个关键盲区：学生使用AI聊天机器人时，传统监控手段可能失效。AI聊天机器人的对话往往比搜索引擎或社交媒体更私密，语境也更复杂，内容以自然语言生成，不一定包含传统监控词库中的显性关键词。
另外，Gemini是谷歌旗下的AI产品，本身内置安全过滤机制，理论上应当拒绝生成与自残、自杀相关的内容，或者在检测到危机时提供求助热线等信息。但批评者指出，这类安全机制更多是“被动防御”——AI可能拒绝直接回答，却未必能主动触发外部警报，把危机信息传递给能够干预的成年人。
一位儿童数字安全倡导者评论道：“技术公司把AI做得这么强，危机识别的担子却甩给了学校；学校装了监控软件，又穿不透AI对话这只黑箱。到头来，风险全压在最脆弱的孩子身上。”
青少年与AI：一场监管追赶技术的赛跑
这已经不是AI聊天机器人第一次被卷进青少年心理健康问题。这几年，ChatGPT、Gemini、Character.AI等产品在未成年人里铺开得很快，AI陪伴会不会让孩子产生情感依赖、乃至诱发自残，争论越来越激烈。已经有多起诉讼和监管调查把矛头对准AI公司，指其产品设计对未成年人构成风险。
另一头，学校和教育机构正大批引入AI工具和数字监控系统，想在“拿技术上课”和“护住学生安全”之间找平衡。可这起事件说明，两头接得还远不够。监控系统能不能真正覆盖AI对话？AI公司该不该主动把高危交互报告给学校或家长？行业标准和监管框架都还没个准话。
谷歌方面尚未就此事的具体细节作出公开回应。不过可以预见，随着事件发酵，关于AI产品年龄验证、危机干预协议以及学校监控责任的讨论会进一步升温。
编者按：安全的最后一公里，不能只靠算法
最让人不安的地方，不是AI讲了什么，而是危险信号冒出来的时候，整套系统一声不吭。学校的监控软件、AI的安全过滤、家长的知情渠道，看着样样都有，真到用时没一个顶上去。技术防护卡在最后一公里，问题往往不出在算法先不先进，而是这条责任链上谁都认定“总会有人管”。
AI公司这边，安全机制不能只做到拒答就完事，得有一条能落地的危机上报通道；学校这边，监控系统要针对AI交互的场景做升级，不能照搬传统的关键词过滤；监管这边，未成年人用AI产品的安全标准得赶紧定下来。说到底，技术替代不了大人的留意和沟通——孩子对着机器说出绝望的时候，能救她的，是那个及时看出不对劲、伸手拉一把的人。
