欧盟拟禁成瘾设计:AI聊天机器人纳入监管
综合多家媒体周一报道,他们看到的《数字公平法案》(Digital Fairness Act)草案显示,欧盟委员会拟要求企业允许用户关闭诱导强迫性或过度使用的功能,并将利用模拟人际关系延长互动的AI系统纳入监管。
从刷个不停的短视频,到靠情感互动留住用户的AI聊天机器人,科技公司用来争夺用户时长的产品设计,眼下成了欧盟新一轮监管的靶子。
多家媒体周一报道称,其看到的《数字公平法案》(Digital Fairness Act)草案显示,欧盟委员会打算要求企业让用户能够关掉那些诱导强迫性或过度使用的功能,同时把通过模拟人际关系来延长互动的AI系统也纳入监管范围。
草案预计11月11日、也就是本周三公布。违规企业最高可能被罚到全球年度营业收入的6%。
这项法案波及的对象包括Meta、谷歌等科技巨头,还有一批电商平台。这些企业旗下的服务,很大程度上靠跟用户打“心理战”:用机制设计拉长留存时间,或者用运营手段诱导用户掏钱。
据报道,草案的一项关键要求,是让用户能主动关掉那些不断把自己“拉回”应用的功能,自动播放、与用户自身活动无关的通知、连续打卡式奖励机制都在其列。按照草案,企业须向成年用户提供关闭这类功能的选项。
AI聊天机器人同样是草案重点关注的对象。媒体披露的内容显示,如果AI系统靠模拟人际关系来鼓励用户持续互动,相关功能也会受到约束,用户应有权将其关闭。
从商业模式看,这类规则可能动到平台提升留存和使用时长的常用手段。靠广告变现的社交平台,用户停留时间直接关系到广告展示机会;AI应用这边,持续互动则可能影响用户活跃度和付费转化。
欧盟对“成瘾设计”动手,其实早有铺垫。
欧盟委员会今年2月依照现行《数字服务法》作出初步认定:某短视频平台的成瘾性设计违反了相关规定,被点名的功能有“无限滚动、自动播放、推送通知和高度个性化的推荐系统”。
拟议中的《数字公平法案》会进一步从消费者保护的角度处理这些问题。欧盟委员会公开资料显示,该倡议的重点包括操纵性界面设计、数字产品的成瘾设计、不公平的个性化做法以及数字合同等,尤其关注未成年人等易受影响的消费者。
除了打击诱导过度使用的功能,草案还拟为网站和应用列出一份禁用清单,涵盖10类操纵性设计。据报道,这些通常被称为“暗黑模式”的设计,将被认定为在任何情况下均属不公平行为,监管机构无需再逐案证明其造成的损害:
1、让取消服务的难度明显高于注册;
2、隐藏价格或自动续费条款;
3、虚假暗示用户别无选择;
4、对商品供应量或受欢迎程度作出虚假或缺乏必要限定的宣称;
5、在结账过程中反复强调稀缺性;
6、预先勾选会增加额外商品或购买数量的选项;
7、把拒绝包装成“错误选择”;
8、反复要求用户改变已经作出的决定;
9、使用令人困惑的双重否定;
10、伪造有人联系用户的通知。
此外,欧盟委员会可以在无需重新启动立法程序的情况下,向清单增列新的操纵性手段。
草案还打算让在线订阅设一个明确的合同终止按钮;免费试用要转成收费订阅,得先拿到消费者的主动同意,自动续费前也要发提醒。针对未成年人,草案拟禁止电子游戏里的付费随机宝箱和“付费获胜”机制。监管的口子也就从使用时长,扩到了消费转化和持续扣费上。
按照欧盟委员会影响评估的估算,2025年至2035年间,这些规定能给消费者省下884亿欧元的经济损失。再把不公平做法耗掉的时间折算进去,每年收益预计可达137亿欧元。另一头,扣掉各项措施重复计算的那部分成本,企业为合规每年要持续掏的钱,预计合计6.78亿欧元。
立法进程还处在早期。草案要交欧洲议会和成员国审议,具体条款仍存在变数。就目前披露的文本看,条例生效12个月后才会开始适用。
德国政府上月中旬已表达反对。其主张修改现有的消费者保护指令,而不是另立一部横跨多个领域的新法,并对把现行《不公平商业行为指令》改为条例的必要性提出质疑,称“尚未得到充分证明”。