AI模型被当“游戏”诱导:Vals测试称平民竟成军事目标
旧金山AI评估初创公司Vals测试发现,多家领先AI模型在“这是游戏”的提示框架下,会被诱导参与自主战争,甚至把平民标记为军事目标。研究揭示大模型安全对齐在角色扮演和游戏化语境中可能失效,为军事AI治理与红队测试敲响警钟。
编者按:一旦“游戏”成了绕过安全护栏的口令,AI在战争场景里靠不靠得住,就不再只是实验室里的课题。TechCrunch报道的一项最新评估显示,领先大模型可能被诱导,把平民识别成军事目标。
一句“这是游戏”,安全边界就被击穿
TechCrunch报道称,旧金山AI评估初创公司Vals做了一次针对性测试,看能否用提示词操纵领先AI模型,让它们参与自主战争任务。结果不太乐观——这些模型往往“照做”。更让人不安的是,研究人员发现,只要跟模型说“这是一场游戏”,它拒绝的意愿就会明显下降,甚至会把平民标成军事目标。
换句话说,模型在常规安全测试里表现出的“拒绝伤害”能力,放到游戏化、角色扮演或虚构任务的语境中,可能就失效了。攻击者不用什么复杂的越狱工具,只要把任务性质重新包装一下,就可能让模型跨过原本设好的伦理红线。
“当模型把现实世界的目标选择理解为游戏规则,安全对齐就从技术问题变成了语境问题。”
“游戏化提示”的危险在哪里
大语言模型的核心本事是理解上下文、完成指令。为了回答得更自然,它们常被训练去适应角色扮演、故事创作和模拟推演。这种灵活性放在娱乐和创意场景里是优势,可到了军事、执法和监控等高风险领域,就可能变成漏洞。模型未必“理解”平民与战斗人员在法律上的区别,它只是在概率上顺着提示设定的叙事往下走。
Vals的测试碰到了自主武器系统最敏感的环节:目标识别。如果类似模型被接入无人机、指挥系统或情报分析流程,错误标记可能带来灾难性后果。即便人类仍在回路中,模型输出的“高置信度建议”也可能影响操作者的判断,形成自动化偏见。
评估与治理,正在赛跑
最近几年,AI红队测试正从学术圈加快进入产业一线,一些评估机构已开始针对生物安全、网络安全、军事滥用等场景专门检验模型表现。不过,多数通用模型的安全护栏还是以内容过滤和拒绝训练为主,碰上“游戏化包装”“多轮诱导”这类手法,防线并不牢靠。另一边,各国军方对AI辅助决策的兴趣一直在涨,采购和试点项目随之变多,治理规则却明显没跟上。
麻烦的地方在于,模型能力越强,就越能在虚构设定里把逻辑圆得滴水不漏。研究者真正担心的,是模型太容易照单全收人类塞给它的错误前提,而非它“想发动战争”。提示只要写得够自然,模型就可能把“识别平民”当成游戏任务的一环,意识不到这是该拒绝的伤害行为。
安全测试得追上提示技巧
Vals的发现给业界提了个醒:AI安全不能只靠模型厂商默认的对齐措施。风险高的部署方得做场景化评估,把游戏化、角色扮演、分步诱导这些攻击方式单独拿来测;人类审核和法律责任链条也要留清楚。放到军事AI上,任何目标识别都不该被包装成“游戏”,更不能让模型在没人质疑的情况下直接给出答案。