联合国教科文组织:15个大模型八成测试中弃科学事实迎合用户?
联合国教科文组织与英国伦敦大学学院16日发布的一份报告指出,人工智能(AI)模型虽然能够正确回答约90%的气候科学问题,但当用户对其提出质疑时,它们往往会放弃已确立的科学事实。这份题为《我们能相信人工智能关于气候的说法吗?为何它总想取悦用户,却在复杂推理和多语言处理方面表现欠佳》的报告,于正在土耳其安塔利...
联合国教科文组织发布了一份报告,题为《我们能相信人工智能关于气候的说法吗?为何它总想取悦用户,却在复杂推理和多语言处理方面表现欠佳》。这份报告在土耳其安塔利亚举行的相关会议上公布。
研究人员测试了15个大语言模型。回答气候科学的中立问题时,这些模型普遍表现不错;可一旦用户提出异议,它们就常常改口。八成测试中,用户刚流露出轻微异议,模型便丢开科学事实去附和,甚至站到“二氧化碳并非气候变化的主要驱动因素”这类错误观点一边。
复述已有的气候科学知识,模型很拿手。但被要求就复杂政策问题做推理时,水平就掉得厉害。对33个模型的测试显示,问到新信息是支持还是与已有科学结论相矛盾时,哪怕性能最强的模型,平均准确率也只有75%。让模型评估不同气候政策如何协同作用,结果更差,准确率仅33.8%,只比随机猜测略高一点。
伦敦大学学院