中国信通院张夕夜:智能体权限管理标准正研制,如何戴好“紧箍”?
仿冒人设、过度情感诱导、越权……当智能体逐渐走进人们生活,也添了烦恼。今年5月,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,首次在专项政策层面明确“强化行业自律”的任务部署。11月,在世界互联网大会乌镇峰会上,中国信息通信研究院(以下简称“中国信通院”)联合...
仿冒人设、情感诱导过头、越权操作,这些麻烦随着智能体走进日常生活一起冒了出来。
今年5月,国家网信办、国家发展改革委、工业和信息化部三部门联合印发《智能体规范应用与创新发展实施意见》,头一回在专项政策层面把“强化行业自律”的任务部署写清楚。到了11月,世界互联网大会乌镇峰会期间,中国信息通信研究院(下称“中国信通院”)与中国网络社会组织联合会组织下,同腾讯、蚂蚁、阿里、抖音、华为等20家生态主体一起发布了《智能体发展自律公约》(下称《自律公约》),把政策上的要求变成了行业里的共识。
智能体的“办事能力”蹿得快,自主执行任务、多个智能体协同作业,在跨平台调用和权限委托中一再越过单个企业的管控范围。越权操作、隐私泄露乃至行为失控,这些风险正从潜在隐患变成现实问题;借智能体搞算法压榨、做黑灰产的行为也开始露头。另一头,开发者、部署者、使用者之间的责任链条在连续的行动链里越来越接不上,“出了事谁来负责”被搁在了一边。
中国信通院知产创新中心产业发展与合规治理研究部主任张夕夜接受新京报贝壳财经记者专访时说,《自律公约》一头能补上现有规则的空白,给企业治理探索提供基础参照和方向指引;另一头,执行过程中可以总结实践经验,定期评估、适时修订,让时效性和适用性跟得上。她判断,今后直接关系到安全、公序良俗、用户权益的底线红线要求,更有可能转为强制性要求,比如防范智能体越权操作、抵制利用智能体实施算法压榨、保障用户在使用智能体过程中对重要事项的最终控制权等。
眼下中国信通院正围绕权限管理、行为边界、个人信息保护、内容安全等维度,研究智能体合规性评价的共性方法与框架,相关标准研制也在同步推进。
智能体生态牵扯全链条,只靠一类企业闭环不了
贝壳财经:为什么选在这个时候发布《自律公约》?
张夕夜:两个层面看。政策导向上,今年5月三部门发布的《智能体规范应用与创新发展实施意见》(简称《实施意见》)明确提出要“强化行业自律”;产业态势上,智能体自主任务执行和多智能体协同能力眼下提升明显,跨平台调用、权限委托、责任追溯这些新问题,早就超出了一家企业的能力边界。这个节点发布《自律公约》,既是落实《实施意见》的任务部署,也是想推动生态主体在关键问题上达成共识,给后面的标准、治理和产业实践垫块基石。
贝壳财经:从参与单位看,此次《自律公约》覆盖腾讯、蚂蚁、阿里、火山引擎、华为、
张夕夜:智能体生态本身就是全链条的,单靠一类企业没法闭环,产业发展本来就需要多方协作。在中国网络社会组织联合会等组织下,这回《自律公约》的共同发起单位比较全面地覆盖了科研机构、基础平台、终端厂商、运营商和安全企业等生态关键节点。我的看法是,多方一起参与,公约才有广泛的代表性和可执行性,这也是产业发展对多方协作的必然要求。
贝壳财经:共同起草《自律公约》时,各单位普遍关心的是什么?
张夕夜:主要聚在四个方面。一是智能体身份与权限,要明确智能体的身份、能力、由谁授权、权限多大;二是互操作边界,能力开放和接口适配的尺度怎么定;三是责任追溯与承担,出了问题得能定位到具体环节和责任主体;四是用户权益保护与黑灰产防范,让智能体在合理边界内使用。
贝壳财经:《自律公约》在智能体治理体系里实际起什么作用?
张夕夜:《自律公约》凝结的是眼下智能体产业的实践经验和行业共识,目的是推动构建良性秩序,促进生态协同与健康发展。监管规范的制定周期相对较长,所以《自律公约》一头能填补现有规则空白,为企业治理探索提供基础参照和方向指引;另一头,执行中也能总结实践经验,定期评估、适时修订,保证时效性与适用性。
抵制借智能体搞算法压榨、黑灰产,企业先得自我检视
贝壳财经:《自律公约》第三条提出提升智能体互操作水平,互操作和知识产权保护怎么平衡?
张夕夜:鼓励互操作、开放接口,不等于把知识产权权利让出去。关键的平衡点是“合理授权前提下的受控的互操作”——推动把互操作的范围、目的、期限和记录明确下来,事先约定好知识产权归属、商业利益分配,再配上分级授权、接口鉴权这类技术手段,两头就能兼顾。
贝壳财经:《自律公约》第五条提出积极发展规则表达与内嵌、合规性测试等技术,确保智能体行为遵守法律法规、公序良俗,共同抵制利用智能体实施算法压榨、黑灰产等行为。中国信通院打算怎么做?
张夕夜:我们正围绕权限管理、行为边界、个人信息保护、内容安全等维度,研究智能体合规性评价的共性方法与框架,相关标准研制也在同步推进。同时鼓励各方在《自律公约》共识基础上,结合自己的应用实践,通过自测自查把合规要求嵌进开发部署流程,让风险早发现、早处置。
贝壳财经:抵制利用智能体实施算法压榨、黑灰产等行为,对企业提了哪些要求?
张夕夜:对内,企业先要做自我检视,把相关规则嵌进产品设计和运营流程,把行为追溯、异常拦截的能力健全起来;对外,主动和生态伙伴搭协作联动机制,共享风险情报和处置经验。
自律的边界怎么划,有几个重点:一是守住用户权益底线,对未成年人、老年人等弱势群体的保护尤其要加强;二是守住安全合规红线,不许借智能体伪装身份、刷量引流、规避审核监管或者搞诈骗,也不能把相关能力拿去生成、传播黑灰产工具链。
贝壳财经:8条具体公约里,你觉得哪些有可能变成强制性标准或监管要求?
张夕夜:直接关系到安全、公序良俗、用户权益的底线红线要求,更有可能转为强制性要求,比如防范智能体越权操作、抵制利用智能体实施算法压榨、保障用户在使用智能体过程中对重要事项的最终控制权等。至于互操作与能力共享的深度、普惠应用形态、生态协作模式这些,现阶段更适合交给市场在实践中摸索最优解。
贝壳财经问:智能体出了事该由谁担责,目前法律责任处于“悬空”状态,怎么看这个问题?《自律公约》能不能把“谁负责”进一步落到实处?
张夕夜表示,这确实是各方都在盯的焦点,也是智能体产业往前走绕不开的坎。产业规模越大,责任归谁的问题就越扎眼。
自主行为难追溯、责任主体难确认、责任边界难划定,这些智能体相关的责任难题,《自律公约》主要从两个方向发力:技术层面,推动建立智能体身份验证与管理、运行监测、行为管控等机制,帮助定位和追溯责任主体;规则层面,推动明确分级授权与行为边界、权利义务与责任划分等机制,力求把各方的责任边界理清楚。