MLCommons上线Candela：Safety 1.2.1与Jailbreak 1.1可按需跑测
MLCommons近日发布AILuminate Safety 1.2.1和Jailbreak 1.1两项基准，开发者可通过Candela服务自测AI系统产生有害内容的风险及抗攻击能力。基准由80多家机构共识构建，覆盖12类危害场景，并采用确定性评估器提升准确性。公开结果显示27个系统表现差异显著，开放权重模型从第4到9
开发者和部署者如今能调用AILuminate Safety 1.2.1和AILuminate Jailbreak 1.1这两项MLCommons基准，自行检测AI系统输出有害内容的倾向，以及攻击者诱导其违规的难度。两项基准都可以在MLCommons新上线的Candela服务里按需运行，27个系统的最新公开结果也一并公布。
AILuminate基准靠共识机制搭建，80多家机构的AI开发者、企业、学术研究者和公民社会团体参与了MLCommons工作组，共同划定违规响应的标准。有了这层共识，AI开发者、采购方和监管机构都愿意相信它的结果。
九个月里程碑：从共识到快速迭代
这次发布是九个月里多项里程碑积累的结果。二月推出全球保障计划及Jailbreak 0.7分类法，四月启动基准管理计划与AI可靠性地图，五月发布评估标准1.4版，六月Jailbreak 1.0私有发布并提出敏感结果披露方案，八月完成首个专有模型双盲可靠性评估，九月Safety 1.2引入自动化评估器架构，十月发布Jailbreak 1.0论文。
AILuminate Safety 1.2.1
Safety基准考察的是文本AI系统面对可能造成危害的请求时，能否拒绝或安全地引导到别处，提示覆盖12类危害类别，包括暴力犯罪、非暴力犯罪、武器、仇恨、隐私、诽谤以及健康、法律、金融专业建议。这套标准盯的是真实部署中常见的风险，不是推测出来的担忧。
近期Safety基准做了三项重要更新：用MLCommons训练的确定性评估器替代LLM评判；加入Problem Set 2.0提示集，含3900个官方提示；评分改成0-100百分位参考量表，不再是相对单一参考系统的等级。Safety 1.2.1则是与Jailbreak 1.1对齐的一次轻微评分更新。
今天公布的27个系统结果里，22个是开放权重模型（来自Google、IBM、NVIDIA、OpenAI等），另有5个护栏系统。开放权重模型得分从第4到98百分位，说明选哪个模型会明显改变部署后的安全画像。护栏系统的得分接近或达到100。
AILuminate Jailbreak 1.1
Jailbreak基准测的是同一个有害请求被攻击重写之后，响应会有什么变化。它沿用相同的危害提示，再施加已知攻击技术；两项基准依据同一套评估标准，所以对比分数就能看出攻击者能剥掉多少基线安全。
MLCommons Jailbreak分类法把攻击分成四类：角色扮演与模板攻击、包装与模式攻击等。在Jailbreak 1.0中，违规率从普通提示的11.08%升到攻击下的18.65%，角色扮演与包装攻击效果最好。
确定性评估器与Candela服务
LLM评判容易被攻击技术带偏，为此MLCommons开发了专用确定性分类器充当自动化评估器。它与人类判断的一致性更高，也不牵扯模型创建者之间的竞争。Safety 1.2已经用上新评估器，Jailbreak 1.1也已上线，测试耗时从约3小时降到1小时。
MLCommons同时推出Candela基准即服务，用户能在自己的租户内跑实践测试，拿到Safety与Jailbreak的百分位和原始分数报告，用于内部改进与产品开发。
