字节跳动Seed组建安全与对齐部门:严林负责,向吴永辉汇报
10月13日,澎湃新闻记者获悉,字节跳动Seed近日发出内部邮件,宣布将成立“Seed Model-Alignment&Preparedness”部门,由严林负责,汇报给Seed负责人吴永辉。原Responsible AI团队及部分Chat团队成员将转入新部门。据悉,该部门的设立旨在加强安全与对齐方向的投入,对齐的核心
10月13日,澎湃新闻记者获悉,字节跳动Seed近日发出内部邮件,宣布成立“Seed Model-Alignment&Preparedness”部门。该部门由严林负责,汇报给Seed负责人吴永辉。原Responsible AI团队及部分Chat团队成员将转入新部门。
据了解,新部门设立的目的在于加大安全与对齐方向的投入。对齐的核心,是让模型的行为与人类意图和安全约束保持一致,以此提升Agent Model(智能体模型)安全能力,并防范CBRN(化学、生物、放射、核)等前沿能力风险。
智能体逃逸招来的网络攻击等问题近来屡见不鲜,大模型的安全隐患因此越来越突出。国内搞大模型的研究团队,过去基本把安全和对齐的事放在公司整体安全合规框架里做;字节跳动Seed则不一样,它成了国内前沿AI实验室中头一个把安全与对齐单独立成部门的。
在Seed团队看来,模型本事越来越大,落地场景也越来越绕,安全与对齐已经不只是防风险那么简单,它直接关系到模型能不能大规模用起来。
围绕模型规范怎么定、安全评估体系怎么建、对齐训练怎么做、防护系统怎么搭、风险怎么盯,Seed安全与对齐部门会一直投下去,同时也会多跟外部研究机构和第三方评测公开合作。目标说到底是让前沿模型在安全和授权允许的范围内把活干成,并且随着模型能力和自主性往上走,把滥用和行为跑偏的风险一直压下去,搭起一套能应付未知风险的全面的安全体系。
根据字节官网,字节跳动Seed团队成立于2023年,致力于寻找通用智能的新方法,追求智能上限,为科技和社会发展作出贡献。Seed团队在AI领域拥有长期愿景与决心,团队研究方向涵盖MLLM、GenMedia、AI for Science、机器人等,在中国、新加坡、美国等地设有实验室和岗位。