语言模型财报信息漏记:为何听懂却记不全?
你有没有遇到过这种人:聊天时听得懂你在说什么,点头如捣蒜,可一旦让他帮你把你说的话里的关键信息全部记下来,他总能漏掉几个。这篇论文讲的就是语言模型身上一个类似的毛病,而且这个毛病藏得特别深,深到用常规的评测方法根本发现不了。**财务报表里的"听懂"和"记全"是两回事**想象一下,你是个投资者,想比较一家公司...
你大概见过这样的人:聊天时什么都听得懂,点头点得飞快,可你要他把你说过的话里关键信息一条条记下来,他总会落下几条。
有一篇论文研究的正是语言模型身上类似的毛病。这个毛病藏得很深,用常规评测办法根本发现不了。
财务报表里的“听懂”和“记全”,其实是两码事。
设想你是个投资者,想比较一家公司在法国和希腊两地子公司的营收表现。法国报告里写着今年营收2.8亿欧元,去年2.5亿欧元;希腊报告里写着1.3亿欧元。这些数字散落在不同语言、不同格式的财报里,你需要一个AI把它们全部揪出来,才能算出增长率。
接着你问AI:“这份法国财报里哪个数字代表营收?”它答对了,准确地指出2.8亿那个数字就是营收。可你要是再问一句:“把所有跟营收相关的数字都给我找出来”,它可能只给当年的数字,把去年的对比数字漏掉了。
论文标题里说的“识别不等于溯源”,讲的就是这件事:模型知道一个数字是什么概念,并不代表它能把该概念对应的所有数字都挖出来。
这种情况听起来有点反直觉。按常理,一个模型连“这是营收”都判断不准,怎么能在更复杂的任务上表现好?现实偏偏相反,很多模型在“认概念”上几乎满分,一到“找全数字”就现了原形。好比一个学生,选择题次次满分,让他把课本里所有提到某个知识点的句子抄下来,却总是漏抄几句。选择题测的是识别能力,抄写测的是遍历能力,两者看着相关,其实是两种完全不同的认知过程。
财报里到底藏着什么秘密?
要理解这篇论文的巧思,得先知道欧洲上市公司财报是怎么运作的。
ESEF*:
在准备财报时,公司的财务人员会把每一个披露的数字对应到一套叫
iXBRL
这意味着什么?公司自己已经替我们做好了“标注”工作。每个数字背后,都写死了它属于哪个会计概念。这是一个天然的、高质量的标注数据来源,比人工从头标注可靠得多,规模也可以做得很大。
研究者挑出90家企业2025财年的年报,英语、法语、希腊语各占30家,把里面带标签的数字连同上下文一并抽出来,搭成了一个数据集,名叫
一个容易被忽略的设计是:这三种语言的报告分别取自不同的公司,并非同一份文件的三个译本。团队用“共享的会计概念”把它们对应起来——拿法国一家公司的营收段落,去对希腊另一家公司的营收段落,而不是把同一句话的三种语言版本摆在一起。这样一来,考的是模型有没有吃透概念本身,而不是它记没记住某句译文。
换个做法会出什么问题?假如用的是同一份报告的多个译本,模型完全能顺着句子结构、位置的相似性把答案蒙对,未必真懂这个概念在各语言环境里长什么样。只有用不同公司的原始财报,才能逼出模型的理解力,而不是它的“查字典”本事。
四道题,把“懂不懂”拆解开。
这篇论文最核心的设计,是把“理解财务数据”这件事拆成四个独立的小测试,一个比一个刁钻。
第一道题叫
借贷方向
这道题看着基础,其实暗藏玄机。结果显示,就算是表现最好的模型,在判断
第二道题和第三道题是这篇论文的灵魂,叫
T2a的考法是:从三种语言里挑出若干已标注的数字,问“它们共同指向哪个会计概念”,四选一作答。T2b则掉过来:给出一个概念名(例如“营业收入”),让模型从一堆未标注数字中把所有属于该概念的数字逐一挑出,多选漏选都算错,其中还包括那些容易漏掉的上一年度对比数据。
一正一反,很像驾照考试:科目一考理论选择题,科目二考倒车入库。理论题做对了,不等于车真会开——选择题只需从几个选项里挑一个最像的,实操却要求你在没有任何提示的情况下,独立把一整套动作完整做下来。只考理论、不考实操,不少“马路杀手”照样能拿证。
结果恰好印证了这层担心。八个成绩最好的模型,T2a概念识别准确率落在97.3%到99.4%之间,接近满分。可再看T2b,就在这些“概念已经答对”的组里,它们仍有26.6%到41.9%的比例至少漏掉一个目标数字。
这意味着什么?差不多每三组正确识别的案例里,就有一组存在遗漏。而且遗漏不是随机的,论文发现希腊语文本的召回率在七个模型里都是垫底的,说明语言本身给数据提取带来了实实在在的难度,哪怕模型已经“认出”了这是营收这个概念。
第四道题叫
这道题的结果最说明问题。以DeepSeek为例,T2a概念识别能拿到98.3%的高分,可到了T2c这种没有选项提示的辨异任务,成绩直接跌到35.6%,比随机猜的25%高不出多少。落差如此之大,说明此前的高分很可能有一部分是靠选项本身泄露的线索撑起来的,模型未必真分得清“租赁付款”和“借款偿还”的本质差别。
论文里有个结果挺出人意料:那些专为金融领域调过参的模型,反倒不如自己的通用底子。
团队一共测了四个在金融数据上微调过的模型,按理说它们该比通用基座更懂行。
可结果正相反:这四个金融专用模型在T1、T2a、T2c三项任务上,全都输给了各自的基座模型,差距从几个百分点一直拉到二十多个百分点。
最夸张的一例是
这就像一个自称精通某地方言的翻译,面试时却常常一声不吭,你根本分不清他是真不会,还是单纯“卡死”了。所以评模型不能只数它答对几题,还得看它有多少回压根没给答案——这种沉默同样是失败,却常被忽略。
再看语言和标签的呈现方式,会不会左右模型的理解。
论文为此设了几组对照实验:改变证据的语言搭配,或者换一种方式标注会计概念,看模型表现会不会变。
去掉英语证据后,参考模型组的T2a准确率几乎没动,波动在正负一个百分点以内,可见它们并不严重依赖英语来理解概念。金融专用模型的起伏就大得多,比如
还有个发现挺有意思:只给英语证据(法语、希腊语全撤掉),效果反倒比撤掉英语、留下法语和希腊语更差。七个参考模型在“只有英语”条件下,普遍比三语联合时低1.9到3.1个百分点。多语言互相印证本身就有价值——哪怕单看每种语言的证据更少,合起来反而帮模型判断得更准。
标签呈现上,论文试过用希腊语官方标签替掉“英文标签+概念编号”的组合,八个模型的准确率都明显下滑,降幅1.7到5.0个百分点。只有专门针对希腊语优化的
这套评测究竟戳中了什么痛点?
读完论文,我一直在想一个问题:过去的金融NLP评测怎么就没发现这件事?
答案其实就在论文标题里。此前的基准测试,比如
这篇论文的贡献在于,头一回把“识别”和“溯源”放到同一批材料上做配对测试,逼研究者正视一条一直存在却被忽视的裂缝:模型可以在“这是什么”上做到满分,却在“把它找全”上频频掉链子。要不是专门设计的测试,这种裂缝很容易被整体高分盖住。
往大处说,这个发现呼应了一个更普遍的现象:不少AI能力测试考的是识别准确率,可真实任务往往要的是完整性。做一道选择题和写一篇完整论述题,对能力的要求并不一样。论文借金融报表这个具体场景,把这个一般性问题落到了实处,也量化了出来。
写在后面
读这篇论文,最触动我的不是那些百分比,而是文中反复强调的一句话:“精度不等于完整性”。
放到金融场景,这句话格外要命。设想一个AI帮你汇总多家公司的财报做投资分析,它每次都能认出“营收”这个词,却总有三分之一的机会漏掉某年的对比数据,你拿着这份不全的汇总去决策,后果可能很严重。更麻烦的是,这种错几乎隐形——答案看着言之凿凿,没有明显破绽,你很难察觉它悄悄漏了什么。
还有个细节得单独说:论文提到,省略目标的比例会随目标数量增多而上升。Gemini在目标数量3到6个的组里遗漏率是27.7%,到了7个以上,遗漏率蹿到46.3%。任务越复杂、要同时追踪的线索越多,模型“顾此失彼”的概率就越高。这跟人的认知负荷有点像,但AI不会像人那样意识到自己“记不住”,它只会不声不响地漏掉。
另一点让我意外的是,金融专用模型普遍打不过通用基座。这多少推翻了我原先“领域微调一定更好”的直觉。回头想想也合理:如果微调数据或训练目标没专门针对“找全”做优化,微调也许只是让模型在某些窄任务上更自信,而自信并不等于全面。
论文留下的开放问题也值得深想:一个模型连自己有没有漏掉东西都不知道,那下一步是不是该让它学会“自我核查”,比如主动问自己“我是不是还有没找到的数据”?听着像给AI配一个内置质检员,而这个质检员眼下还完全不存在。
Q&A
Q1:
A:
Q2:模型都认出概念了,为什么还会漏数字?
A:论文发现,识别概念(比如判断某数字是不是“营收”)和穷尽式找出所有相关数字,是两种不同的能力。实验显示,八个主流模型的概念识别准确率高达97%以上,但在已识别正确的分组里,仍有26.6%到41.9%存在数字遗漏,希腊语文本的召回率尤其普遍偏低。
Q3:专门训练的金融AI模型表现会更好吗?
A:不一定。论文测的四个金融专用模型(如