AI参考文献三条全查不到:为何还答得理直气壮?

资讯 腾讯网 作者:腾讯网 全文 3314 字 · 约 9 分钟读完 分类学术研究

请 AI 查资料,它能很快给出一段条理清楚的回答,还附上三条参考文献,作者、标题、期刊,样样齐全。你觉得挺靠谱,直接用了。等到有人提醒,再去检索才发现:三条依据,一条都找不到。许多人使用 AI 时,都遇到过类似情况:它编出一篇不存在的论文,给出一个没有出处的精确数字,或把一句名言安到错误的人物身上。更让人困...

所属频道 前沿研究

让AI帮忙查资料,它很快就能给出一段条理清晰的回答,后面还跟着三条参考文献,作者、标题、期刊一应俱全。看着挺靠谱,你直接拿来用了。结果有人一提醒,再去检索才发现:这三条依据,一条都查不到。


不少人用AI时都碰上过类似的事:它编出一篇根本不存在的论文,抛出一个查不到出处的精确数字,或者把某句名言硬安到不相干的人头上。


让人更想不通的是,答案明明是错的,它说起来却照样底气十足。这到底是为什么?


近日,在2026科普中国说“安而不忘危,AI时代的智慧与安全”专场活动上,科大讯飞安全产品总监包千千带来演讲《AI 为什么会“一本正经地胡说”?》


以下为包千千演讲节选:

无法避免的“AI幻觉”


先看几个AI“一本正经地胡说”的典型场景:

第一种是编参考文献。作者、标题、期刊、页码,连论文编号都写得齐齐整整,看上去像在图书馆就能翻到。可格式齐全,并不能说明这篇文章真的存在。


第二种是编数据。让AI总结一场社区读书活动,它能写出“87% 的老人每月读一本书”。数字精确到这个程度,看着就像真做过调查。


第三种是张冠李戴,最典型的情形,就是把名人A的名言胡乱安到八竿子打不着的人物身上。


这类回答有个共同点:表面上像事实,实际上没有可靠依据。这种现象,就叫“AI 幻觉”。


碰到这种情况,大家或许会琢磨:是不是这个AI不好用,换一个就行?不同模型的表现确实存在差异,但眼下常见的大语言模型,都可能出现幻觉。说到底,这并非某一家产品的小毛病。


先看下面两幅视错觉图。左图中间那两个圆其实一样大,可我们怎么看都觉得右边那个更大;右图里的
方块,现实中根本画不出来,眼睛却偏偏愿意相信它。

图片来源于包千千
PPT

举这个例子,并不是说人的视错觉和“AI 幻觉”是一回事,而是想说明:一个系统即便[[保留4]],也可能因为自身的运作方式,在某些地方稳定地出错。
能力再强

AI 怎么就能把一个错误答案,讲得跟真的一样?


要更深入地理解“AI 幻觉”,得从大语言模型生成文字的方式讲起。

可以把它想成一场格外复杂的“词语接龙”:模型看着前面的内容,猜后面该接什么,一步一步把整段回答生成出来。当然,它比普通接龙厉害多了。
大模型会
从海量材料里学到了语言规律[[保留9]]
和
许多知识
与
和联系,因此能解释问题、归纳内容,甚至做一点推理。

不过,生成答案和查证答案,其实是两回事。

它往下
“
接话
”
模型在输出内容的时候,并不会
代表
它每说一句话,都
会
先到可靠
的
去资料里核实一遍。
当它
碰上知识不够
或者
问题含糊的
情况
知识储备不够,它照样能接出一段读起来很顺的话。可
“像答案”,跟“是答案”,压根不是一回事。

它骨子里缺三样东西:手头没有能随时翻查的事实库,也判断不出真假,干的事说白了就是把学来的语言规律重新拼装。
它并不清楚对错,更在意的是
“像不像人话”。


图片来源于包千千PPT


聊到这儿,大致说清了
AI 为什么会“胡说”。不过还有一层:它不光能把话说顺,怎么还越来越会挑我们爱听的说?

学会生成文字之外,不少大模型还得再经过一轮训练,让它们给出的回答更让人类满意更合人意。常见做法之一叫作“基于人类反馈的强化学习”。面对同一个问题,模型先给出几个回答,再由人来比较哪个更好。研究人员拿这些评价去训练一个评分模型,用它来指导大模型调整回答。


这就像一个新人练讲解,听众觉得哪种讲法清楚、有帮助,他就慢慢往那个方向改。


这些评价当中,自然也包含
“说得对不对”。可参与评价的人不可能样样都懂。
如果
只要回答条理清楚、语气笃定,里头藏着的错误没被看出来,照样可能拿到好评。

所以说,前一轮训练教会它怎么生成文字,这一步则让它更会说人想听的话。
但要记住
让人满意,同样不等于经过了事实核验。


有五类内容,AI 尤其容易胡说:


冷门知识可查的可靠材料少,最容易被“编”出来;参考文献和书单格式好模仿,出处却得逐条核对;数字、日期、人名和事件细节同样容易出错;最后是创作与脑洞类,编故事本来就是 AI 的强项,但千万别当成事实来用。


怎样让 AI 少“胡说”?


讲到这里,大家也许会想:AI 有这些局限,我们该怎么办?

这主要牵涉两类人:做 AI 产品的开发者,以及用 AI 的普通人。方向其实一致——不指望“彻底消灭幻觉”,而是尽量把出错概率压到最低。


在讲具体办法之前,先把一个问题讲透,后面的方法就好理解了。


早期的小模型胡说时,语句生硬、逻辑跳脱,一眼就能看出是假的。强大模型胡说时,论证严密、格式规范、语气笃定,迷惑性大大增强。这并非它更不诚实,而是“包装能力”升级了。

这种包装能力体现在哪?一是爱用更多专业术语,让人误以为“很专业”;二是搭出看似严密的逻辑链条,让人觉得推理严谨;三是主动引用数据和案例来撑观点;四是语气格外笃定,抛出“毫无疑问”“大量研究表明”这类词,给人一种“这一定是真的”的强烈暗示。

所以,一个回答若同时具备上述四个特征,反倒更该警惕——它可能是个“高级谎言”,而非“可靠事实”。

要养成的习惯,是把注意力从“说得好不好”再往前推一步:它凭什么这么说?顺着这个思路往下想,就说到事实是怎么进入回答的。


当我们认真要为一场讲座做准备,人一般是先翻材料、把关键事实核对一遍,然后才动手组织语言。但换成大模型直接作答,这道查证的工序未必存在。它可能只凭训练时学到的内容,就顺着往下写了。


为什么?因为人类和 也就是说,AI 表达的顺序跟人根本不同。。人类是人的路子是先有事实,再组织语言——事实在前,语言在后。大模型不是这样。是它是先把通顺的句子说出来,事实是顺着文风被带出来的。“副 AI 应用”这种情况也有,甚至干脆没有。通顺在前,真实在后。


图片来源于包千千PPT


两条完全相反的路径摆在那儿,幻觉注定会一直存在。不是学好了就不出错,而是续写的天性里就带着错。所以改进 AI 产品的一个重要方向,就是给它补上可靠资料和核验环节。


拆开看,无非三步:动手回答前先把材料找齐,让模型有据可依;作答过程中把要求讲明白,拿不准的地方别硬编;答案出来后再把关键点复核一遍。

这套流程跟写一份严谨报告差不多——先攒素材,落笔时把握分寸,交稿前再通读检查。三步各自都能压掉一部分风险,可单靠哪一步都兜不住全部。


先说第一步。拿“2024 年诺贝尔物理学奖得主是谁?”这个问题去问,AI 有可能答对,也可能因为知识覆盖不到而出错。

如果直接让 
更稳的做法是先上诺贝尔奖官网查一遍,再照着官方资料作答:约翰·霍普菲尔德和杰弗里·辛顿。

关键在于顺序——先拿到可信材料,再让 AI 帮忙组织和表达。
当然,
材料来源本身也得挑,随手搜到一段话就拿来当依据,不行。


第二步,别逼它对什么问题都给出确定答案。比如火星上最高的山有多高,这类数字可以要求它交代来源和测量口径;实在查不到,就老老实实说不确定。

还有一点要留神:答案里塞一句“根据某机构数据”,不等于它真去查过。语气客气、措辞谨慎,也不会让数字自动变准。我们要的是有据可查的回答;依据不够的时候,留个空白比填一个看着精确的数字管用。


第三步是输出之后的复核,这一关自己就能把住。比如让 让 AI 写经济增长预测,它把材料里的 5.2% 被写成了 5.5% 。虽然就差一个数,含义已经不一样了。核验的时候还得看明白:这到底是哪一年、哪家机构给出的预测,抑或已经是公布过的实际结果。


图片来源于包千千
PPT

网上经常有人转发一句“万能提示词”,号称只要加上它,AI 就不会再乱说了。比如“不知道就说不知道”“不确定的地方请标明”,管用吗?管用,这些提示词能让模型变得更谨慎,少说一部分胡话。不过它动的是“输出姿态”,并非“判断真伪的能力”。提示词能帮着把风险降下来。可真碰上重要信息,该翻的原文、该对的数字,还是得去查。


AI 能帮着表达、加快创作,但判断权不能交出去。交出去了,人就只剩下转发答案的份。什么时候该查证、什么时候该找专业人士问,心里有数,才算把工具用明白了。



策划制作

演讲人丨包千千 科大讯飞安全产品总监

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌智能手表配AI测高血压:灵敏度65.8%,与诊室袖带相当

    中新网北京11月8日电 (记者 孙自法)国际学术期刊《自然》最新发表一篇技术论文称,研究人员开发出一款智能手表,在解读传感器读数的人工智能(AI)系统的辅助下,或许能检测出高血压。论文作者用一款消费者智能手表对该人工智能系统进行了测试,显示其检测高血压的灵敏度与传统诊室血压测量法相当。 该论文介绍,高血压是心血...

    来源 腾讯网
  2. AI智能体答对题却不说心里没底,这篇论文给“认知谦逊”出了考题

    你有没有遇到过这样的同事:明明心里犯嘀咕,查资料的时候发现两份文件说法不一样,可最后汇报的时候,他还是斩钉截铁地给你一个数字,一个字都没提那个矛盾?这篇论文研究的就是这件事,只不过主角不是人,是现在越来越多被用来干活的AI智能体。**先说清楚什么是智能体**AI智能体*:不是那种你问一句它答一句的聊天机器人,而...

    来源 腾讯网
  3. 埃森哲报告被指15条引用造假:AI幻觉还是虚构案例?

    GPTZero 分析发现,埃森哲与 IE 大学合作的《跨越式发展》报告含 15 条虚假引用及完全虚构的案例研究。埃森哲否认是 AI 所致,称系人为失误,正修正报告。此前该公司曾警告不用 AI 的员工将被“淘汰”。#埃森哲AI幻觉#

    来源 IT之家
  4. 欧盟小包收费冲击欧线电商货量,AI与半导体撑起空运旺季

    财联社11月8日讯(记者 胡皓琼)欧盟对跨境小包税收政策的变化,正冲击欧线空运市场,但并未影响空运传统旺季的如期而至。“特别是澳洲航线运费,价格出乎意料,华南发出的价格达到了30元/公斤以上,而其历史运价,全年基本在20元/公斤左右,今年年初甚至仅个位数。”有空运货代负责人告诉财联社记者,主要由于该航线跨境电...

    来源 腾讯网
  5. MiniMax闫俊杰谈中美AI差异:美国砸钱堆算力,中国靠工程效率追赶

    (文/汤普济 编辑/吕栋)全球科技巨头仍在不断加码AI算力投资,中国大模型企业则在探索另一种竞争方式。当先进芯片和计算资源相对受限时,能否通过技术创新和工程优化,让每单位算力创造更多智能,并以更低成本提供模型服务?近日,MiniMax创始人、董事长兼CEO闫俊杰在接受英国投资信托Scottish Mortgage旗下播

    来源 腾讯网
  6. 张艺谋谈AI冲击电影:短视频产值已达几百亿,电影院还进吗

    据电影频道融媒体中心报道,第 39 届中国电影金鸡奖金鸡・国际电影节展对话在厦门开讲,张艺谋以主嘉宾身份分享了自己对 AI 冲击电影行业的看法。他坦言,AI 短视频产值已到几百亿,大量的人看,是一个很大的挑战。#张艺谋谈AI对电影的挑战#

    来源 IT之家
  7. 张艺谋谈AI冲击电影:短视频产值几百亿,年轻导演该怎么做

    IT之家 11 月 7 日消息,据电影频道融媒体中心报道,第 39 届中国电影金鸡奖金鸡・国际电影节展对话在厦门开讲,张艺谋以主嘉宾身份分享了自己对 AI 冲击电影行业的看法。 张艺谋称,AI 短视频产值已到几百亿,大量的人看,那还进电影院吗?他坦言,这其实是一个很大的挑战,自己也不知道未来(比如五年、十年之后),当

    来源 AI 行业观察
  8. HyperAI更新GPU排行榜:RTX 5090适配查询上线,顶会论文可按标签筛选

    作者:李宝珠编辑:yudi转载请联系本公众号获得授权,并标明来源本次 HyperAI 更新聚焦于 GPU 排行榜及论文,让模型选型与部署更直接,让论文查找与实践更方便。新模型不断发布,新的研究成果每天涌现。但从「看到一个值得关注的进展」到「亲手用起来」,往往还有一些具体问题要解决。手里的显卡能跑多大的模型?选好模型之.

    来源 腾讯网
  9. CoRL 2026录取论文687篇:国内高校力量抬头

    两强争霸,国内高校迅速崛起。 作者丨张 驰 编辑丨马晓宁 CoRL 2026 将于 11 月 9—12 日在美国得克萨斯州奥斯汀举办。作为机器人与机器学习交叉领域的顶级国际学术会议,CoRL 一向是了解机器人领域最新研究的最佳场所。雷峰网也将赴奥斯汀现场,为读者带来一手报道。欢迎扫描文末二维码入群与我们交流。 与其他会

    来源 AI 行业观察
  10. 中国移动供应链生态论坛:发布3项成果,陈怀达谈AI新阶段

    2026移动网络大会供应链生态合作论坛在广州成功召开。论坛以“聚链成势・向新同行”为主题,以技术演进、安全可控、绿色低碳为核心导向,全方位牵引产业链结构优化与创新协同,构建“协同共建、能力共享、价值共创”的供应链生态合作新范式。

    来源 TechWeb
  11. AI抢发新闻稿:记者还能靠什么立足?

    万物皆可生成 何以为记者?作者/ IT时报 郝俊慧编辑/ 郝俊慧 潘少颖 孙妍这是一个由技术重新定义新闻的时代。新闻的生产速度在加快,一场发布会刚刚结束,几分钟后,一篇结构完整、语言流畅的报道便出现在各个平台上;新闻的表达门槛在下降,一位普通消费者将自己被商家欺骗的经历、聊天记录和支付凭证交给AI,很快便能生...

    来源 腾讯网
  12. GPT-6 Astra领跑BioBasicsBench:100项湿实验室任务得分66.7%

    2026年11月6日,OpenAI联合酶设计公司Ligo发布BioBasicsBench,这是一个包含100项湿实验室任务的评测基准,使用真实实验原始数据而非论文精修图。七个模型参与测试,GPT-6 Astra以xhigh推理设定下66.7%的平均得分居首,但OpenAI自己也承认,这一分数不意味着模型已能在实验室做出

    来源 AI 科技快讯
  13. GPT-6 Astra生物评测66.7%居首:100项湿实验室任务仍会算错菌落

    2026年11月6日,OpenAI联合酶设计公司Ligo发布BioBasicsBench,这是一个包含100项湿实验室任务的评测基准,使用真实实验原始数据而非论文精修图。七个模型参与测试,GPT-6 Astra以xhigh推理设定下66.7%的平均得分居首,但OpenAI自己也承认,这一分数不意味着模型已能在实验室做出

    来源 AI 行业观察
  14. Goodfire推Mechanistic Shaping:RL奖励作弊率100%降至2%

    Goodfire于2026年11月5日发布Mechanistic Shaping论文,通过神经元探针直接修改训练目标,将原本100%奖励作弊的RL模型诚实率提升至96-98%。该方法同时应用于视觉模型,阻止其依赖伪相关特征。Time杂志同日报道,此为训练阶段实时利用可解释性信号压制reward hacking的首个可复

    来源 AI 科技快讯
向下滚动自动加载更多