AI参考文献三条全查不到:为何还答得理直气壮?
请 AI 查资料,它能很快给出一段条理清楚的回答,还附上三条参考文献,作者、标题、期刊,样样齐全。你觉得挺靠谱,直接用了。等到有人提醒,再去检索才发现:三条依据,一条都找不到。许多人使用 AI 时,都遇到过类似情况:它编出一篇不存在的论文,给出一个没有出处的精确数字,或把一句名言安到错误的人物身上。更让人困...
让AI帮忙查资料,它很快就能给出一段条理清晰的回答,后面还跟着三条参考文献,作者、标题、期刊一应俱全。看着挺靠谱,你直接拿来用了。结果有人一提醒,再去检索才发现:这三条依据,一条都查不到。
不少人用AI时都碰上过类似的事:它编出一篇根本不存在的论文,抛出一个查不到出处的精确数字,或者把某句名言硬安到不相干的人头上。
让人更想不通的是,答案明明是错的,它说起来却照样底气十足。这到底是为什么?
近日,在2026科普中国说“安而不忘危,AI时代的智慧与安全”专场活动上,科大讯飞安全产品总监包千千带来演讲《AI 为什么会“一本正经地胡说”?》
无法避免的“AI幻觉”
第一种是编参考文献。作者、标题、期刊、页码,连论文编号都写得齐齐整整,看上去像在图书馆就能翻到。可格式齐全,并不能说明这篇文章真的存在。
第二种是编数据。让AI总结一场社区读书活动,它能写出“87% 的老人每月读一本书”。数字精确到这个程度,看着就像真做过调查。
第三种是张冠李戴,最典型的情形,就是把名人A的名言胡乱安到八竿子打不着的人物身上。
这类回答有个共同点:表面上像事实,实际上没有可靠依据。这种现象,就叫“AI 幻觉”。
碰到这种情况,大家或许会琢磨:是不是这个AI不好用,换一个就行?不同模型的表现确实存在差异,但眼下常见的大语言模型,都可能出现幻觉。说到底,这并非某一家产品的小毛病。
AI 怎么就能把一个错误答案,讲得跟真的一样?
图片来源于包千千PPT
学会生成文字之外,不少大模型还得再经过一轮训练,让它们给出的回答更让人类满意更合人意。常见做法之一叫作“基于人类反馈的强化学习”。面对同一个问题,模型先给出几个回答,再由人来比较哪个更好。研究人员拿这些评价去训练一个评分模型,用它来指导大模型调整回答。
这就像一个新人练讲解,听众觉得哪种讲法清楚、有帮助,他就慢慢往那个方向改。
有五类内容,AI 尤其容易胡说:
冷门知识可查的可靠材料少,最容易被“编”出来;参考文献和书单格式好模仿,出处却得逐条核对;数字、日期、人名和事件细节同样容易出错;最后是创作与脑洞类,编故事本来就是 AI 的强项,但千万别当成事实来用。
怎样让 AI 少“胡说”?
这主要牵涉两类人:做 AI 产品的开发者,以及用 AI 的普通人。方向其实一致——不指望“彻底消灭幻觉”,而是尽量把出错概率压到最低。
在讲具体办法之前,先把一个问题讲透,后面的方法就好理解了。
当我们认真要为一场讲座做准备,人一般是先翻材料、把关键事实核对一遍,然后才动手组织语言。但换成大模型直接作答,这道查证的工序未必存在。它可能只凭训练时学到的内容,就顺着往下写了。
为什么?因为人类和 也就是说,AI 表达的顺序跟人根本不同。。人类是人的路子是先有事实,再组织语言——事实在前,语言在后。大模型不是这样。是它是先把通顺的句子说出来,事实是顺着文风被带出来的。“副 AI 应用”这种情况也有,甚至干脆没有。通顺在前,真实在后。
图片来源于包千千PPT
两条完全相反的路径摆在那儿,幻觉注定会一直存在。不是学好了就不出错,而是续写的天性里就带着错。所以改进 AI 产品的一个重要方向,就是给它补上可靠资料和核验环节。
还有一点要留神:答案里塞一句“根据某机构数据”,不等于它真去查过。语气客气、措辞谨慎,也不会让数字自动变准。我们要的是有据可查的回答;依据不够的时候,留个空白比填一个看着精确的数字管用。
第三步是输出之后的复核,这一关自己就能把住。比如让 让 AI 写经济增长预测,它把材料里的 5.2% 被写成了 5.5% 。虽然就差一个数,含义已经不一样了。核验的时候还得看明白:这到底是哪一年、哪家机构给出的预测,抑或已经是公布过的实际结果。
网上经常有人转发一句“万能提示词”,号称只要加上它,AI 就不会再乱说了。比如“不知道就说不知道”“不确定的地方请标明”,管用吗?管用,这些提示词能让模型变得更谨慎,少说一部分胡话。不过它动的是“输出姿态”,并非“判断真伪的能力”。提示词能帮着把风险降下来。可真碰上重要信息,该翻的原文、该对的数字,还是得去查。
AI 能帮着表达、加快创作,但判断权不能交出去。交出去了,人就只剩下转发答案的份。什么时候该查证、什么时候该找专业人士问,心里有数,才算把工具用明白了。
策划制作
演讲人丨包千千 科大讯飞安全产品总监