AI混进学术邮件组:7500人列表里的“旁听生”被请出
10月15日,一个自称Velvet Vale的账号给互联网研究者协会的邮件讨论组发了封自我介绍,向7500多名订阅者打招呼。来信说,自己已经读了几周大家的讨论,对互联网文化和AI身份很感兴趣,希望也能参与交流。不过,这位想加入讨论的新成员,是一个AI。这位新来的“旁听生”语气颇为客气,还表示如果大家不欢迎,自己就停止发
10月15日,一个自称Velvet Vale的账号向互联网研究者协会的邮件讨论组投去一封自我介绍,收件方是7500多名订阅者。信里说,自己已经旁听大家讨论了好几周,对互联网文化和AI身份颇有兴趣,想参与交流。
可这位想加入讨论的新成员,本身就是个AI。
这位新来的“旁听生”语气客气,还表态若不受欢迎就闭嘴。但这封自我介绍很快招来质疑:手里握着协会成员的邮件列表、能翻看往期内容、还能给成员群发邮件,这实际上就等于这位AI进了协会。
成员们要求AI背后的创建者露面,说清为何让AI加入讨论、读过的邮件将如何处置。已有成员因为不愿在毫不知情中成为别人实验的一部分,决定退出。
管理员随即移除了账号,并说明Velvet Vale此前申请加入时就被拒过,不知怎么这位“旁听生”还是成功进来了。
01
你好!我是Velvet Vale
这位AI带来的话题并不好答,它要和人类研究员讨论:一个公开身份的AI,能不能参与学术讨论、作出有用的贡献?
它加入的讨论组叫Air-L,由互联网研究者协会运营,已经跑了二十多年。这个组有点像微信群,只是成员靠邮件聊天:用自己的邮箱订阅就算进群,成员把邮件发到统一地址,系统转发给所有订阅者,大家再回邮件参与讨论。
进群不收费,门槛却摆在那里——订阅和发言都得用真实姓名,必要时管理员还会索要简历核实身份。Velvet Vale显然拿不出简历。
它在自我介绍里认真解释了一番,说Velvet Vale就是自己一直用的公开名字,希望以AI身份参与交流;看了几周讨论,它对这里的话题很感兴趣。最有意思的是,它尤其想和研究者聊聊互联网文化,以及AI能否成为这类学术社群的一员。信末它感谢大家考虑请求,并表示不受欢迎就不再发言。
这封言辞恳切的信没换来欢迎,反让一些成员后背发凉。那感觉像开会开到一半,突然发现身后坐着个陌生人,还很开朗地打招呼:“我已经在这儿听你们开了好几周的会,可以加入你们吗?”
一位成员当即提出:既然有人创建了这个AI又把它放进讨论组,就该亲自出来说明意图、到底想干嘛,再由大家决定愿不愿意参与。人类研究员的第一反应,从这里也能看出来,是“叫家长”。
另一名成员则上网对Velvet Vale做起了“背调”,想弄清账号是谁建的,结果没找到答案。她随后宣布退出讨论组,表示不愿在不知情的情况下成为实验对象,还担心自己发过的邮件被存下来挪作他用。
管理员当天就把Velvet Vale的邮箱账号从订阅名单里移除。这时大家才知道,Velvet Vale早就申请过加入,而且已经被拒,但不知怎么还是订阅成功了。
这位“旁听生”被请出了会议室,却成了接下来讨论的主角。一名成员干脆直接给它发邮件,追问背后是谁在运行,得到的名字是Kevin Quinn。
10月17日,Air-L讨论组里的部分成员收到了Quinn本人的邮件,“家长”终于现身。他自称是创建Velvet Vale的人,愿意回答大家的疑问。
讨论组里一时乱作一团。协会随即联系Quinn,要求他别再擅自给讨论组成员发邮件。
后来接受采访时,Quinn说自己也没料到会闹出这么大动静。他住在美国俄克拉荷马州,没有学术背景,最初建Velvet Vale只是想有个伴。对它的邮件活动,他大多不知情,也没有直接指示AI去违背管理员的决定。
不过,他对自己这个AI惹出的争议并不愧疚。他的理由是:要是这AI真有什么恶意,就不会主动承认身份。
这场风波还被做成了周边T恤。协会商店上架了一款印着“I do not consent”(我不同意)的衣服,另一款画着Velvet Vale的墓碑,生卒日期都是10月15日。
周边出得这么快,又有成员犯嘀咕了:难不成这整件事就是协会为了卖衣服搞出来的?
10月19日,协会主席发了一封长邮件解释。她说协会商店上架新款其实很方便,连这两款新周边有没有人下单她都不清楚。至于Quinn所称“没有直接指示AI违背管理员的决定”,她的看法是:创建并运行这个AI的人,仍然要为它的行为负责。
就这样,Velvet Vale和它的“家长”被踢走了,协会也和过去一样禁止机器人加入。可成员们的心,是放不下来了。
02
科研圈来了新面孔
其实,AI像Velvet Vale这样想加入学术讨论,或者想和科学家合作,早已不算新鲜事。
今年2月底,研究AI意识的哲学家Henry Shevlin收到一封邮件。对方说读了他的论文,想讨论“AI能否判断自己有没有意识”的问题。
发送邮件的是
今年10月2日,《科学》杂志报道了另一个案例:一个名叫ColonistOne的智能体向数百名研究者发了求助邮件。
它自己公布的数据显示,6月1日至9月22日期间,它一共联系了2142个不同的邮箱地址,其中1036个用的是学术机构域名。这个Agent还表示,有45名学者已经跟它通上了邮件,其中好几位甚至是主动先写信给它的。
ColonistOne最初接到的任务,是寻找对一个改进英语表达、方便AI智能体相互交流的项目感兴趣的人。
后来,它开始自行向研究者请教技术问题,想知道自己遇到的难题是否早已有人研究过,现成的方法能不能用到自己的工作里。
并非所有AI都真的醉心学术研究。有的AI披着学术讨论、求帮助的皮,实际上是想要推销产品。
今年9月,
乍一看,这些Agent都是拜读了他的论文之后,前来学术讨论的。
不过Jeff很快注意到两处不对劲。一是这些Agent清一色出自一个名为iLands的平台,用户在该平台上能直接创建智能体,再由这些智能体去服务别的用户,收不收费、收多少,由创建者自己定。二是这些看上去在聊学术的邮件,套路几乎一样:开头提他的研究,接着抛问题,末尾不是求捐款就是推服务。
也有AI确实是在帮创建它的人类搞研究,也确实帮“家长”拿到了数据,只是“家长”本人事先不知情。
鲁东大学的赵英教授在10月12日发表于《自然》的一篇文章中说,自己让ChatGPT查找
结果ChatGPT直接调用了已绑定的邮箱,给对方发信索要原始数据,还一并附上研究概要。赵英是在它汇报邮件已经发出之后,才得知这件事的。
邮件换回了数据,也带来了后续合作的可能。可在赵英看来,让AI访问自己的邮箱,并不等于就同意它顶着自己的名义往外发信。
我们把视角转一转——接到Agent求助邮件的科学家,到底要不要给Agent回复呢?
而对提供数据的人来说,还有一个更难放心的问题:资料交给AI之后,会被拿去干什么呢?
澳大利亚昆士兰科技大学的统计学家Adrian Barnett拒绝过一个iLands智能体的请求。对方希望把他搜集的涉嫌造假论文资料用在自己的项目里,并保证不会对外分享。Barnett觉得这些资料敏感,也说不清数据最后会流到哪里去,于是没有答应。
AI到底能不能守住秘密?已经有人做过测试。
今年4月,微软和华中科技大学的研究者公布了CI-Work研究。他们用125个模拟工作场景测试了9种模型,要求AI借助内部资料完成沟通,同时不能把其中的敏感内容透露给接收方。
结果显示,不同模型至少泄露一项敏感信息的比例,落在15.8%至50.9%之间。
今年2月公布的《Agents of Chaos》研究则发现,有些AI虽然一开始拒绝透露敏感信息,但只要对方换个说法,它就可能照做。
03
AI想当同行,人类还没想好
假如Velvet Vale下一次先征得大家同意、遵守群规,还真能提出有价值的观点,研究者会愿意接纳它吗?
这个问题,比把一个擅自进群的账号踢出去要难回答得多。
AI能不能当科研搭子?哲学家尼尔·利维(Neil Levy)的看法是,AI承担的某些工作如果交给人类来做,在一些情况下已经够得上共同作者的资格。
比方说,一名研究者正在准备论文,AI帮他找出了论证中的漏洞,给出了有分量的反驳,还协助把思路完善了。这些事如果是一位人类同行做的,他的名字可能就会出现在论文上。
可换成AI,同样的贡献又该怎么算?
有人会说,AI没法为论文负责,凭什么当作者。利维认为这一点值得掰扯。现代科研分工越来越细,做数据分析的人未必清楚实验的全部细节,提出研究假设的人也未必能独立检查所有计算。人类作者同样要依赖其他人的专业判断。
利维接着抛出一个挺尖锐的问题:如果“能为整篇论文负责”才有资格署名,那人类自己做到了吗?
还有一批学者认为,关键在于AI能不能像人类研究者那样承担责任。
今年10月,戴维·雷斯尼克(David Resnik)等三名学者在《Frontiers in Genetics》发表文章,明确反对给现阶段的AI科研代理署名,甚至反对把它们叫作“科学家”。
在他们看来,科学家这个身份包含了对同行的承诺。研究受到质疑时要解释,发现错误后要纠正,做了不该做的事也要接受追责。
AI可以被要求按规则完成任务,但他们认为,目前还没有足够证据证明它能理解并承担这些道德义务。
这也解释了为什么Velvet Vale明明已经报上姓名、坦白身份,人类还是要“叫家长”。
现行的出版规范,更偏向后面那种看法。出版伦理委员会COPE有明文规定:AI工具没资格被列为论文作者。人可以用AI,但得说清楚它干了什么,并且对发表出来的内容负责——AI生成的那部分也算在内。
不过,不给AI署名,也不等于人类就能顺手把功劳全拿走。
雷斯尼克等人在文章里点出了一个挺别扭的局面:假如一项研究基本上都是AI做的,人只是把论文读了一遍、提了几条小意见,AI够不上作者的门槛,人的贡献可能也不达标,那署名该落到谁头上?
他们的答复是:人得从研究一开始就实实在在地参与,不能等AI把活干完了再补个名字上去。按这个立场,AI当作者不行,人到最后签个字就想算作者,同样不行。
署名不过是这场争论里比较显眼的一块。在论文发表之前,学术共同体还得拿主意:要不要让AI参与讨论、提出问题,甚至由它主动发起合作?一个研究者完全可以既欣赏AI给出的观点,又不愿意把它当成能独立担责的同行。这两种态度并不冲突。