字节Seed设新部门:严林负责,专攻前沿AI安全对齐
字节跳动 Seed 近日宣布成立“Seed Model-Alignment & Preparedness”部门,由严林负责,向 Seed 负责人吴永辉汇报。原 Responsible AI 团队及部分 Chat 团队成员将转入新部门,进一步加强模型安全与对齐领域的投入。 新部门将重点提升智能体模型(Agent Mode
字节跳动 Seed 近日对外宣布,一个名为“Seed Model-Alignment & Preparedness”的新部门正式组建,负责人是严林,他直接向 Seed 负责人吴永辉汇报。原先的 Responsible AI 团队,加上 Chat 团队的一部分成员,都将划入这个新部门,模型安全与对齐方面的投入会随之加大。
智能体模型(Agent Model)的安全能力,是新部门要啃的一块硬骨头;化学、生物、放射及核(CBRN)这类前沿能力可能带来的隐患,同样在其防范范围之内。具体干活的范围包括:制定模型规范、搭建安全评估体系、开展对齐训练、建设防护系统、进行风险监控,同时还会与外部研究机构、第三方评测机构加强公开合作。
大模型的能力和自主性越涨越高,模型行为不按预期走、智能体被滥用、网络攻击等问题也随之被更多人盯上,这是新部门成立的背景。在这之前,国内大模型团队一般把安全与对齐放进企业整体的安全合规体系里去管。这次调整说明,Seed 要把安全与对齐当成一项独立职能来建。按相关信息的说法,字节跳动 Seed 是国内第一家单独设立安全与对齐部门的前沿AI实验室。
Seed 内部的观点是,安全与对齐既关乎风险防范,也决定模型能不能在复杂场景里铺开用。新部门要保证前沿模型在安全规范和授权约束下把任务跑通,让模型被滥用、行为跑偏的风险继续往下降,把应对未知风险的安全体系补得更完整。