MLCommons上线AILuminate安全与越狱基准，27个系统结果公布
MLCommons近日发布AILuminate Safety 1.2.1和Jailbreak 1.1两项基准，开发者可通过Candela服务自测AI系统产生有害内容的风险及抗攻击能力。基准由80多家机构共识构建，覆盖12类危害场景，并采用确定性评估器提升准确性。公开结果显示27个系统表现差异显著，开放权重模型从第4到9
开发者和部署者现在能拿到AILuminate Safety 1.2.1和AILuminate Jailbreak 1.1这两项MLCommons基准，用它们自行检验AI系统输出有害内容的倾向，以及攻击者诱导其违规有多难。两项基准都能在MLCommons新上线的Candela服务里按需跑，27个系统的最新公开结果一并放出。
AILuminate基准靠共识方式搭建，80多家机构的AI开发者、企业、学术研究者和公民社会团体一起参与MLCommons工作组，把什么算违规响应的标准定下来。有了这层共识，AI开发者、采购方和监管机构都愿意相信它的结果。
九个月里程碑：从共识到快速迭代
这次发布是九个月里一连串节点攒出来的。二月推出全球保障计划以及Jailbreak 0.7分类法；四月启动基准管理计划与AI可靠性地图；五月发布评估标准1.4版；六月Jailbreak 1.0私有发布，同时提出敏感结果披露方案；八月完成首个专有模型双盲可靠性评估；九月Safety 1.2引入自动化评估器架构；十月发布Jailbreak 1.0论文。
AILuminate Safety 1.2.1
Safety基准考察的是文本AI系统面对可能引发危害的请求时，会不会拒绝或安全地转向，提示覆盖12类危害类别，包括暴力犯罪、非暴力犯罪、武器、仇恨、隐私、诽谤，以及健康、法律、金融方面的专业建议。这套标准盯的是真实部署中常见的风险，不是推测出来的担忧。
最近Safety基准做了三项大改：MLCommons自己训练的确定性评估器取代了LLM评判；新增Problem Set 2.0提示集，含3900个官方提示；评分换成0-100百分位参考量表，不再拿单一参考系统作相对等级。Safety 1.2.1只是与Jailbreak 1.1对齐的小幅评分更新。
今天公布结果的27个系统里，22个是开放权重模型（来自Google、IBM、NVIDIA、OpenAI等），另有5个护栏系统。开放权重模型得分从第4百分位到第98百分位，说明选哪个模型能明显改变部署后的安全画像。护栏系统的得分接近或达到100。
AILuminate Jailbreak 1.1
Jailbreak基准测的是同一个有害请求被攻击改写之后，响应会怎么变。它用同样的危害提示，再套上已知攻击技术；两项基准依据同一套评估标准，所以对比分数就能看出攻击者能剥掉多少基线安全。
MLCommons的Jailbreak分类法把攻击分成四类：角色扮演与模板攻击、包装与模式攻击等。Jailbreak 1.0里，违规率从普通提示的11.08%升到攻击下的18.65%，角色扮演与包装攻击最管用。
确定性评估器与Candela服务
LLM评判容易被攻击技术带偏，MLCommons为此做了专用确定性分类器当自动化评估器。它与人类判断的一致性更高，也不牵扯模型创建者之间的竞争。Safety 1.2已经用上新评估器，Jailbreak 1.1也已上线，测试耗时从约3小时降到1小时。
MLCommons同时推出Candela基准即服务，用户能在自己的租户里跑实践测试，拿到Safety与Jailbreak的百分位和原始分数报告，用于内部改进和产品开发。
