de Souza 谈 AI 代读:知识判断的责任该由谁承担
研究者需要的不只是AI生成的答案,更是审查答案、追溯来源并为知识判断负责的能力。 作者丨张 璐 编辑丨马晓宁 你有没有过这样的经历:面对几十页密密麻麻的PDF,实在抽不出时间细读,于是把论文丢给ChatGPT或Claude,让它帮你提炼核心观点。 几秒钟后,一份条理清晰的摘要出现在屏幕上。你点点头,觉得自己已经掌握了论
几十页密密麻麻的 PDF,实在没空细读,于是把论文丢给
ChatGPT 或 Claude,让它帮忙提炼核心观点——这样的经历你有过吗?
屏幕上很快跳出一份条理清晰的摘要。你点点头,觉得论文的主要内容已经掌握,甚至直接把里面的观点引用进了自己的研究。
可等一下:AI 总结出来的,真的就是原作者想表达的意思?万一它悄悄塞进了原文没有的观点,或者把毫不相干的概念扯到一起,作为研究者,我们能及时察觉吗?
正在举行的 ACM Multimedia 2026 上,人机交互领域先驱、巴西里约热内卢天主教大学(PUC-Rio)荣休教授 Clarisse Sieckenius de Souza 作了一场主题演讲。
她从自己提出的“语义工程”(Semiotic Engineering)理论出发,谈 AI 如何改变人与信息之间的关系,也谈当我们把文献阅读和理解的工作交给 AI 时,研究者的“认知权威”(Epistemic Authority)该怎么守住。
设计者的意图怎样通过界面传达出来,AI 摘要又为何会偏离原文,PEEL 方法怎么用来审视 AI 处理文本的过程——这场演讲围绕这几个问题,给理解 AI 时代的知识责任添了一个新角度。
以下是演讲全文雷峰网:
依我看,人机交互(HCI)可以理解为一场对话。
不过这场对话并不发生在应用程序或系统与用户之间,它由计算机媒介实现,发生在人类群体之间:一方是设计和开发应用程序的人,另一方是使用这些应用程序的人。
对话通过界面展开。界面其实扮演着设计者代理人的角色,代替设计者向用户传递信息。它能表达的,只有设计者预先设定的方式和语言,也就是我们常说的人工语言。
举个例子,用某个网站时,界面会告诉我们哪些操作允许、哪些不允许。在 Cookie 偏好设置页面里,用户可能试着切换某项必要的设置,界面却提示这项操作无法完成。
这条信息其实来自设计者。用户通过界面得到的反馈,反映的正是设计者希望用户做什么、能够做什么,以及不能做什么。
语义工程(Semantic Engineering)的基本思想就在这里:界面代表设计者发声,用户则在学习、使用界面语言的过程中与设计者交流。
当然,界面语言不一定是文字。它也可能是一套完全图形化、以对象为中心的语言。我们操纵屏幕上的对象来表达意图,界面则用对象的变化回应我们的操作。
不过,界面并不总能按用户的预期作出回应。
准备这场演讲时,我就遇到过一个很有意思的情况:想在界面里插入一个文本框,结果它竟然上下颠倒了。为什么会这样,我完全不知道。
这恰恰说明,界面会怎么回应,我们有时没法准确预测。碰上意料之外的结果,只能试着去理解它,再调整自己的操作。
通常每个系统都有一套约定俗成的交互模式,这些模式在一定程度上限定了用户能表达什么、能做什么。我们得不断尝试,找到通过界面表达自己意图的方式。
更要紧的是,每个系统都有自己独特的语言。就算两个系统用相同的词汇,这些词背后的语义也可能完全不同。
所以每接触一个新系统,我们就要经历一次语言学习的过程。
这和儿童学母语、成年人学第二语言有些相似:不断尝试,观察系统怎么回应,理解不同词汇和视觉符号的含义,再慢慢掌握这套语言。
面对一个此前没碰过的系统,人通常只能反复试。按钮是干什么的、某个视觉元素点下去会怎样,事先都不知道,理解是在一次次操作里慢慢建立起来的。
那语义工程到底包括什么?我打算从三块来讲。
其一,人机交互本质上是一种经由中介的传播。设计者与开发者借人工界面语言,把设计意图传达给用户;用户学会这套语言之后,再与设计者的“代理人”打交道,设法达成自己的目的。
不过用户的目标未必就是设计者事先想好的那个。有时候人会创造性地使用某个应用,去做设计者压根没预料到的事,而且这些操作还可能跑得挺顺。
其二,界面上的交流要靠三种符号。
-
一类是静态符号,它们固定待在界面里,单靠自身的呈现方式就足以传达意义。
-
另一类是动态符号,得靠时间和状态的变化来承载意义。比如点一下按钮,按钮随之发生的变化,加上紧接着出现的行为,都在告诉我们这个按钮是什么意思。
-
还有一类叫元语言符号(Metalinguistic Signs)。这是个专业说法,指的是能解释其他符号的符号。界面提示就属于此类:它能说明某个图形对象代表什么,也能引导用户去做某种操作,以达成特定目标。
其三,用户的语言学习能力很强。设计者会借助已有的交互模式、用户熟悉的语言体系以及元语言提示,帮他们弄懂新出现的界面词汇和语义。
这三块合起来,就是语义工程的基本框架。可随着AI往前走,人跟计算机交流的方式正在变——AI已经能用自然语言跟我们对话了。
于是问题就来了:AI既然能听懂自然语言,语义工程是不是就没那么要紧了?
我的回答是:恰恰相反。
大约四周前,我正用
Claude准备这场演讲,碰上了一件让我很意外的事。
Claude的界面看着不复杂,就是对话式的。用户在输入框里提问,Claude在屏幕上作答。
但在某些时候,界面会根据当前对话的上下文,猜用户接下来可能输入什么,并主动给出建议回复。
这本身没什么稀奇。真正让我吃惊的,是其中一次具体的对话。
当时我正和Claude讨论一些问题。它忽然列出一份清单,第一项居然是它认为我想表达的论文主旨,大意是:问责机制必须被设计出来,而不能被想当然地假定存在。
我相当惊讶,因为我从没想过把这个观点当作自己的论文主旨。不过我觉得这个想法挺有意思,就顺着它的建议往下聊。我跟Claude说,它提的这个论点不错,我们可以围绕它展开讨论。
没想到Claude很快纠正了我。它说,有件事得先澄清:这个论文主旨并不是它此前提出的,它只是在问我真正想表达什么。现在回头看整段对话,它才意识到这个观点好像出现过。
我就接着追问:如果不是你做的这个判断,那究竟是谁、或者是什么,把这个观点摆到了我面前?Claude的回答很有意思:
“这我没法判断。你的输入框我看不见,应用有没有给建议回复,我判断不了;这些回复是谁生成的、依据什么上下文,我也不知道。传到我这边的时候,它看起来就是你讲的话。真实情况我无从得知。此前那次纠正没问题——那篇论文的主旨确实不是我在这次对话里写下的,可这个说法到底从哪来,我也说不清。这一点我本该讲明白。”
这段对话很有意思。这个例子我完全没有编造,事实上,就算想编,也很难设想出这样一幕。
那次经历让我明白,眼前这套AI对话系统远比看上去要复杂。我们以为自己只是在跟一个能读懂上下文的系统打交道,可界面后面还藏着哪些代理、哪些机制、哪些别的信息来源,我们未必知道。
这么一来,语义工程就没什么用了吗?我的看法正好相反。它非但没有贬值,任务反而更重了。原因很直接:即便在今天,人和AI之间的信息传递照样可能乱套——消息摆在眼前,来源却说不清楚。
界面到底该把哪些信息交给用户,这件事得重新想了。用户清楚自己在跟谁说话吗?对话框里冒出一句话,我们能分辨它是用户说的、AI说的,还是中间某个环节塞进来的吗?
这也是我接下来真正想谈的话题。
我真正在意的,是AI在科研里被大量使用,尤其是拿它来辅助做文献综述。
读文献本来就是研究工作的日常。大量论文要读,要弄清这一篇讲了什么、那一篇有什么贡献,还要弄清某个研究问题和已有成果之间是什么关系。
问题是,如今要读的东西实在太多。
这次会议的投稿量让我印象很深,据说超过8000篇。这么多论文,谁靠一个人的时间和精力能全部读完?有些时候,确实得借助AI。我自己也在用。
可以让AI讲一篇论文说了什么,某个方向上有哪些重要工作,或者某个具体问题和哪些研究相关。
但有个问题需要认真对待:把文献阅读委托给AI之后,我们还能不能保住自己的认知权威(Epistemic Authority)?
认知权威是个有特定含义的哲学概念。相关讨论可以追到Linda Zagzebski等学者,后来也有别的哲学家把它继续推进。
这场演讲里,我盯住的是一个具体问题:把文献阅读和理解交给AI之后,它给出的摘要和研究报告,能不能信?
认知权威为什么这么要紧?
因为科学家和研究者必须对自己说过的话、表达观点的方式负责。研究带有社会责任,提出的知识主张站不站得住,不是可以随便对付的事。
要做出判断,我们靠的是集体知识,靠别的研究者发表的论文、做过的实验和攒下的成果。
一旦用AI来做文献综述,就得想一件事:其中可能存在的风险,我们评估得了吗?
说明一下,我不是说不能用AI。我想强调的是:用的时候,我们有没有能力认出并判断自己正承担着什么样的风险?
这些风险也许根本不存在,也许确实存在。可要是没有相应的机制,风险有多大就很难说清。
我们团队正在尝试解决的,正是这个问题。
我们在研究机构里做了一套叫PEEL的方案,全称是Protocols for Epistemically Engaged AI Literacy。
这套方案想做的,是把三样东西串起来:确定性计算、人工智能,还有人类。确定性计算为什么重要?长期以来我们信任计算机,很大程度上就因为它足够“确定”——只要条件一样,它每次跑出来的操作都一样。
可眼下人们开始信任另一种系统:每跑一次,结果就可能不一样的AI。这件事本身就该多想一层。
AI是第二个要素。处理自然语言这件事,AI能做到以往做不到的程度,理解信息、分析文本都多了新路子。第三个要素是人,也是最要紧的一个。知识在人手里,意图和判断也在人手里。信息一复杂,就得把各种因素放在一起权衡,最后拍板:什么可信,什么站得住。
把这三者凑到一块儿,是希望AI参与信息处理的同时,人类对知识的判断和审查能力别丢。为了验证这个思路,确定性计算这一环我们选了Voyant,AI这一环用Claude,最终的理解和判断交给人类。
PEEL不是那种关起门来全自动跑的系统。研究者能直接拿到相关工具,自己下场走完整个流程。下面说说这套方法具体怎么运转。
在PEEL的流程里,研究者可以先让AI出摘要,再用Voyant这类文本分析工具把摘要和原文对着看。摘要写了什么,我们关心;摘要跟原文之间到底是什么关系,我们同样要查——这正是它跟普通AI摘要拉开距离的地方。
PEEL系统介绍与体验入口
我们做过一个实验:同一份文本,分别交给ChatGPT的不同版本、Claude去摘要,再把它们的结果和PEEL生成的放在一起比。
用符号学的话讲,这种尽量保留原文特征的摘要,我会看作原文的一个图像符号(Icon)。这里的“图像”不是指视觉上的图片,重点在于符号和它所指的对象之间,存在某种能被感知的相似。
原文按章节、小节排,PEEL生成的摘要也保留一模一样的章节结构。原文是第一人称写的,摘要也尽量沿用第一人称的说法。
这么做的用处在于:摘要保住了原文的结构和表达方式,我们要回原文对应位置核对就方便得多,能查清摘要有没有把作者的意思准确传到位。
文本分析工具也派得上用场,拿原文和不同摘要比语义类别、关键词以及它们出现的频率。比如某个术语在原文里出现多少次、在各版摘要里又出现多少次,都能看出来。反过来也能查:某个术语只在摘要里有,原文里压根没出现过。
PEEL利用Voyant对比原文与多个AI版本(ChatGPT、Claude)在关键词连接度上的差异
出现这些变化,就说明有问题吗?未必。让你总结一篇文章,你跟旁边坐着的人写出来的摘要大概率不一样。你们可能按自己的理解,带进一些原文没直接使用的术语。这很正常,各人有各人的知识背景和解释方式。AI身上也会发生类似的事。
真正要警惕的是另一种情形:文本解释的活儿整个交给AI,它可能没有约束地扯进一些相关话题。这些话题跟原文有牵连,却未必真属于原文的论述。
Voyant生成的可视化图
要是你只看AI生成的摘要、不翻原文,读到的很可能不是作者本人的意思,而是AI顺着话题做的延伸和建议。认知权威的风险恰恰藏在这里。
更麻烦的是,你可能在自己研究里写下某位作者提过某个观点,可这位作者压根没这么说过。
原文和不同摘要之间的语义联系,可以借Voyant的可视化功能看出来。
PEEL用Voyant生成可视化网络图,把不同概念在摘要里语义连接的变化直接摆出来。
这些图里,原文是参照的底子。各份摘要会带来自己的新术语、新联系,原有联系也会跟着变。
比如有些连接在摘要里头一回出现,另一些原文里就有的联系,到了摘要里可能变密,也可能被削弱。
这些变化本身说明不了摘要一定有问题,但能帮我们圈出该进一步查的地方。
图里还用不同颜色区分这些联系,方便观察不同AI系统生成摘要时,哪些语义关联发生了变动。
这样一来,我们就不只是被动接受AI给的结果,而是多了一套能回头查结果的工具。
那么,AI生成的摘要该怎么查?
PEEL里还有一条很关键的设计思路:让AI成为自己的对手。
我们借助Voyant的文本可视化、传统文本分析以及计算语言学资源,给AI生成的内容搭了一套审查机制。说白了,AI负责生成摘要,文本分析工具负责给用户提供检查摘要的资源。
AI提出什么观点,用户都能靠这些工具判断要不要再核实。当然,不是每种情况都得查得一样严。
比如只想确认某篇论文里有没有某项信息,快速翻一下原文、看这项信息在不在就行,不一定非得深挖作者是怎么得出这个结论的。可要是打算把某个观点当成自己研究的重要依据,核查就得严格得多。
这就是我们说的认知权威风险评估。
我还想讲讲我们怎么约束Claude的工作方式。要把整个过程概括一下,我会这么说:
“你可以用我的说法,不过得先讲明白:你其实不清楚自己在说什么。别拿我的话来替我下结论,要让我知道,你对自己正在处理的东西并没有真正弄懂。”
这条约束很要紧。我们希望Claude尽可能忠实地处理原文,别拿自己的世界知识一路延伸、补充。它的任务是压缩和转换文本,不是替研究者把所有解释都做完。
PEEL常见的工作环境是Jupyter Notebook。参数、代码和具体分析过程都摆在用户眼前,需要的话可以自己改代码。
你要是不认同我的分析方式,完全没问题。自己写分析程序,按自己的标准查文本就行。
我们希望整个过程是开放的。摘要生成本身也可能带进偏差,提示词会带来偏差,文本分析方式也会。用户不光能改提示词,还能调整文本分析过程,进一步追这些偏差是从哪来的。
具体呈现摘要时,我们还会给出不同的压缩比例。
拿一篇20页的论文来说,可以压到原文的10%,再往下还能缩到25%的篇幅。不同压缩程度下,原文结构和主要观点有没有被保住,用户自己就能对着比。
有个特点很关键:作者的声音,我们尽量不动。原文里写的是“I argue”,摘要里也尽量留着这种第一人称说法。这样读者能迅速翻回原文对应的地方,看作者到底提了什么论点。
另外,PEEL会把摘要过程里用到的各种操作分门别类,逐项评估可能带来的风险。
比方说,把4个句子并成1句,解释风险通常就比直接照搬原文句子要高。原文里的直接引语,我们能用的尽量用,再用颜色标记和来源链接,让用户顺藤摸瓜找到相关内容。
还有一点:摘要怎么生成,用户可以插手,不是干等着拿结果。
比如AI会反过来问用户:这几个语义类别,跟你的理解对得上吗?这样分类你认不认?要不要调整?
一开始的语义类别,是依据文本中的词语分布和词汇关系提出来的,用户可以按自己的理解去改。
我们还给了一大批可视化结果,让用户比对原文和摘要之间的结构、语义和变化走向。其中我觉得很要紧的一项,是Voyant里的语境检索列表(Concordance)。
假设要研究一篇论文里关于“AI信任”的讨论,用语境检索就能把这个词在原文里出现的位置全找出来,再看不同摘要有没有留住这些内容,是不是还处在同样的语境里。这些办法,为的是让用户对摘要更有信心,也让摘要本身的质量往上走。
当然,PEEL眼下只是个起点。AI给人类理解知识添的麻烦,我们解决的只是很小一块。语言本身也不过是符号系统里的一种。
对今天在座的多媒体研究者来说,有个问题更值得想一想:
信息不再靠文字传,改由声音、手势、情绪和其他多模态信息来表达,那时候我们会不会撞上差不多的认知权威问题?
我看这些问题都值得再讨论下去。
谢谢大家。
▎问:用AI就意味着要处理越来越多的问题,那这些问题到什么时候才算完?
这问题挺有哲学味道。我的看法是,AI的用法可以有很多种,它身上让人惊叹的可能性也很多。
单说认知权威这件事,眼下有一条研究路子是去提高AI自身的认知可信度。说白了,就是让AI更靠谱,更能撑住人的知识判断。
可还有另一条路:先认下AI有局限,把它可能带来的风险评估清楚,再定什么情况下该靠它、什么情况下该留个心眼。
我的直觉是,这两条路或许该同时走。有些场景里,我们确实盼着AI的认知能力比现在更强;另一些场景里,尤其研究结果可能对社会产生重大影响时,AI辅助研究的结果该怎么呈现、怎么使用,就该更谨慎。
疫情的影响波及地球上的每一个人,甚至整个地球本身。这类研究的社会意义极重,所以现阶段就得认真评估其中的风险。
▎问:界面里的符号,意义该怎么理解?这些符号的含义是看单个界面,还是看一类界面共同形成的参照体系?
我从来不敢说哪种界面最好。现在正用着的界面就是个好例子:你用我能懂的语言跟我交流,反过来,你的意思我未必全接得住。你自己恐怕也不确定是不是完全听懂了我。
既然这样,凭什么轻易断言某一种界面就是最好的?
我真正想说的是,界面该帮我们把意义协商(Meaning Negotiation)做得更好。
彼此理解不了的时候,人就得借助各种策略去协商意义。语言符号之外,别的符号同样参与其中。
我眼下有个想法:让AI把自己真实的样子摆到用户面前。
换句话说,别再把AI包装成什么都懂、什么都能领会的样子。要让用户清楚:这个系统能用我的语言跟我对话,但它未必清楚自己在谈什么。
前面提到的Claude案例还记得吗?当时我压根不知道,Claude的对话过程可能被别的代理在中间插了一手。更让人意外的是,它自己也不清楚这些信息到底从哪儿来。
所以界面得把这种可能性摆明。文字提示也好,视觉提示也罢,总要设计一种符号,让用户意识到系统背后可能存在这样的信息来源和中间环节。风险恰恰就出在这里。
最好的界面长什么样,我到现在也没有定论。让用户自己配置界面,这个思路我一直很欣赏。人和人需要的交流方式不一样,界面就该允许他们按自己的需求去调。
▎问:PEEL能不能检测AI生成摘要时的幻觉?比如原文写的是2+2=4,AI却总结成2+2=5。
有些类型的幻觉是能被发现的。
举例来说,可以把原文里关于AI信任的具体论述,和摘要中的相关内容摆在一起对照。两者差得明显,就值得再往下查。
不过,我并没有专门针对幻觉做过分析。PEEL提供的材料和工具,已经足够支撑这类研究。谁感兴趣,完全可以拿这些资源去做。
还有一点要补充:不少幻觉其实源自AI的世界知识,而不只是语言处理层面的问题。AI会凭自己掌握的背景知识,认定某篇论文实际上在谈另一个相关话题,于是往摘要里塞进原文根本没涉及的内容。
这也是我们约束Claude的原因,让它处理文本时更接近机器翻译,对原文做压缩和转换,而不是自由发挥。目的是让读者拿到一个更浓缩的文本版本,解释的工作仍旧留给他们自己。
当然,压得太狠也会出问题。摘要本身没写错,读者却可能因为信息过度浓缩而理解偏了。
但在我看来,选了这种工具,就得承担这类风险。从目前的实验看,压缩比例到25%或30%左右,文本的可读性已经相当不错。当然,算法还有不少优化空间,整个流程仍然需要大量工作。
▎问:AI能接手的工作越来越多,这种变化会不会压住人的创造力?过去我们不断开发新工具去完成不同任务;现在似乎直接让AI生成几乎所有东西就行。技术创新会不会因此受影响?
我不认为这必然会压低创造力。
我喜欢拿无穷这个概念来想这件事。同一类型的事物,我们可以拥有无穷多个,但这不代表创造方式只能剩一种。
如果创造力指的是从一种事物跳到另一种完全不同的事物,那确实要警惕:我们可能正在生成无穷多个同类的东西,而不是不断踏进新领域。
2024年,Nature上登过一篇相关研究者的文章,谈的是科学研究可能走向同质化。越来越多人开始按AI能完成的任务来组织自己的研究,研究者也可能慢慢把工作调整成适合AI处理的形式。
不过我还是愿意相信,AI能被几十种、几百种甚至几千种不同的方式使用。为什么非得选同一种用法?在我看来,还有个更要紧的问题,那就是生产力,尤其是科学研究里的生产力。
如今人们常拿发表了多少篇论文来衡量研究者的表现。AI正在为这种生产力循环服务,而这可能比AI本身对创造力的影响更值得关注。要是能暂时跳出这个循环,我相信AI会展现出很多让人惊喜的用法。
我很幸运,现在已经退休,多少能跳出这个循环。在这种情况下,我们或许真能去探索AI的不同可能性,而不只是让它帮我们更快地做完手上的活。这才是我更愿意看到的方向。