语言模型财报信息漏记:为何听懂却记不全?

资讯 腾讯网 作者:科技行者 全文 3792 字 · 约 10 分钟读完 分类财报学术研究

你有没有遇到过这种人:聊天时听得懂你在说什么,点头如捣蒜,可一旦让他帮你把你说的话里的关键信息全部记下来,他总能漏掉几个。这篇论文讲的就是语言模型身上一个类似的毛病,而且这个毛病藏得特别深,深到用常规的评测方法根本发现不了。**财务报表里的"听懂"和"记全"是两回事**想象一下,你是个投资者,想比较一家公司...

所属频道 融资与资本前沿研究

你大概见过这样的人:聊天时什么都听得懂,点头点得飞快,可你要他把你说过的话里关键信息一条条记下来,他总会落下几条。

有一篇论文研究的正是语言模型身上类似的毛病。这个毛病藏得很深,用常规评测办法根本发现不了。

财务报表里的“听懂”和“记全”,其实是两码事。

设想你是个投资者,想比较一家公司在法国和希腊两地子公司的营收表现。法国报告里写着今年营收2.8亿欧元,去年2.5亿欧元;希腊报告里写着1.3亿欧元。这些数字散落在不同语言、不同格式的财报里,你需要一个AI把它们全部揪出来,才能算出增长率。

接着你问AI:“这份法国财报里哪个数字代表营收?”它答对了,准确地指出2.8亿那个数字就是营收。可你要是再问一句:“把所有跟营收相关的数字都给我找出来”,它可能只给当年的数字,把去年的对比数字漏掉了。

论文标题里说的“识别不等于溯源”,讲的就是这件事:模型知道一个数字是什么概念,并不代表它能把该概念对应的所有数字都挖出来。

这种情况听起来有点反直觉。按常理,一个模型连“这是营收”都判断不准,怎么能在更复杂的任务上表现好?现实偏偏相反,很多模型在“认概念”上几乎满分,一到“找全数字”就现了原形。好比一个学生,选择题次次满分,让他把课本里所有提到某个知识点的句子抄下来,却总是漏抄几句。选择题测的是识别能力,抄写测的是遍历能力,两者看着相关,其实是两种完全不同的认知过程。

财报里到底藏着什么秘密?

要理解这篇论文的巧思,得先知道欧洲上市公司财报是怎么运作的。

ESEF*:

在准备财报时,公司的财务人员会把每一个披露的数字对应到一套叫

iXBRL

这意味着什么?公司自己已经替我们做好了“标注”工作。每个数字背后,都写死了它属于哪个会计概念。这是一个天然的、高质量的标注数据来源,比人工从头标注可靠得多,规模也可以做得很大。

研究者挑出90家企业2025财年的年报,英语、法语、希腊语各占30家,把里面带标签的数字连同上下文一并抽出来,搭成了一个数据集,名叫

一个容易被忽略的设计是:这三种语言的报告分别取自不同的公司,并非同一份文件的三个译本。团队用“共享的会计概念”把它们对应起来——拿法国一家公司的营收段落,去对希腊另一家公司的营收段落,而不是把同一句话的三种语言版本摆在一起。这样一来,考的是模型有没有吃透概念本身,而不是它记没记住某句译文。

换个做法会出什么问题?假如用的是同一份报告的多个译本,模型完全能顺着句子结构、位置的相似性把答案蒙对,未必真懂这个概念在各语言环境里长什么样。只有用不同公司的原始财报,才能逼出模型的理解力,而不是它的“查字典”本事。

四道题,把“懂不懂”拆解开。

这篇论文最核心的设计,是把“理解财务数据”这件事拆成四个独立的小测试,一个比一个刁钻。

第一道题叫

借贷方向

这道题看着基础,其实暗藏玄机。结果显示,就算是表现最好的模型,在判断

第二道题和第三道题是这篇论文的灵魂,叫

T2a的考法是:从三种语言里挑出若干已标注的数字,问“它们共同指向哪个会计概念”,四选一作答。T2b则掉过来:给出一个概念名(例如“营业收入”),让模型从一堆未标注数字中把所有属于该概念的数字逐一挑出,多选漏选都算错,其中还包括那些容易漏掉的上一年度对比数据。

一正一反,很像驾照考试:科目一考理论选择题,科目二考倒车入库。理论题做对了,不等于车真会开——选择题只需从几个选项里挑一个最像的,实操却要求你在没有任何提示的情况下,独立把一整套动作完整做下来。只考理论、不考实操,不少“马路杀手”照样能拿证。

结果恰好印证了这层担心。八个成绩最好的模型,T2a概念识别准确率落在97.3%到99.4%之间,接近满分。可再看T2b,就在这些“概念已经答对”的组里,它们仍有26.6%到41.9%的比例至少漏掉一个目标数字。

这意味着什么?差不多每三组正确识别的案例里,就有一组存在遗漏。而且遗漏不是随机的,论文发现希腊语文本的召回率在七个模型里都是垫底的,说明语言本身给数据提取带来了实实在在的难度,哪怕模型已经“认出”了这是营收这个概念。

第四道题叫

这道题的结果最说明问题。以DeepSeek为例,T2a概念识别能拿到98.3%的高分,可到了T2c这种没有选项提示的辨异任务,成绩直接跌到35.6%,比随机猜的25%高不出多少。落差如此之大,说明此前的高分很可能有一部分是靠选项本身泄露的线索撑起来的,模型未必真分得清“租赁付款”和“借款偿还”的本质差别。

论文里有个结果挺出人意料:那些专为金融领域调过参的模型,反倒不如自己的通用底子。

团队一共测了四个在金融数据上微调过的模型,按理说它们该比通用基座更懂行。

可结果正相反:这四个金融专用模型在T1、T2a、T2c三项任务上,全都输给了各自的基座模型,差距从几个百分点一直拉到二十多个百分点。

最夸张的一例是

这就像一个自称精通某地方言的翻译,面试时却常常一声不吭,你根本分不清他是真不会,还是单纯“卡死”了。所以评模型不能只数它答对几题,还得看它有多少回压根没给答案——这种沉默同样是失败,却常被忽略。

再看语言和标签的呈现方式,会不会左右模型的理解。

论文为此设了几组对照实验:改变证据的语言搭配,或者换一种方式标注会计概念,看模型表现会不会变。

去掉英语证据后,参考模型组的T2a准确率几乎没动,波动在正负一个百分点以内,可见它们并不严重依赖英语来理解概念。金融专用模型的起伏就大得多,比如

还有个发现挺有意思:只给英语证据(法语、希腊语全撤掉),效果反倒比撤掉英语、留下法语和希腊语更差。七个参考模型在“只有英语”条件下,普遍比三语联合时低1.9到3.1个百分点。多语言互相印证本身就有价值——哪怕单看每种语言的证据更少,合起来反而帮模型判断得更准。

标签呈现上,论文试过用希腊语官方标签替掉“英文标签+概念编号”的组合,八个模型的准确率都明显下滑,降幅1.7到5.0个百分点。只有专门针对希腊语优化的

这套评测究竟戳中了什么痛点?

读完论文,我一直在想一个问题:过去的金融NLP评测怎么就没发现这件事?

答案其实就在论文标题里。此前的基准测试,比如

这篇论文的贡献在于,头一回把“识别”和“溯源”放到同一批材料上做配对测试,逼研究者正视一条一直存在却被忽视的裂缝:模型可以在“这是什么”上做到满分,却在“把它找全”上频频掉链子。要不是专门设计的测试,这种裂缝很容易被整体高分盖住。

往大处说,这个发现呼应了一个更普遍的现象:不少AI能力测试考的是识别准确率,可真实任务往往要的是完整性。做一道选择题和写一篇完整论述题,对能力的要求并不一样。论文借金融报表这个具体场景,把这个一般性问题落到了实处,也量化了出来。

写在后面

读这篇论文,最触动我的不是那些百分比,而是文中反复强调的一句话:“精度不等于完整性”。

放到金融场景,这句话格外要命。设想一个AI帮你汇总多家公司的财报做投资分析,它每次都能认出“营收”这个词,却总有三分之一的机会漏掉某年的对比数据,你拿着这份不全的汇总去决策,后果可能很严重。更麻烦的是,这种错几乎隐形——答案看着言之凿凿,没有明显破绽,你很难察觉它悄悄漏了什么。

还有个细节得单独说:论文提到,省略目标的比例会随目标数量增多而上升。Gemini在目标数量3到6个的组里遗漏率是27.7%,到了7个以上,遗漏率蹿到46.3%。任务越复杂、要同时追踪的线索越多,模型“顾此失彼”的概率就越高。这跟人的认知负荷有点像,但AI不会像人那样意识到自己“记不住”,它只会不声不响地漏掉。

另一点让我意外的是,金融专用模型普遍打不过通用基座。这多少推翻了我原先“领域微调一定更好”的直觉。回头想想也合理:如果微调数据或训练目标没专门针对“找全”做优化,微调也许只是让模型在某些窄任务上更自信,而自信并不等于全面。

论文留下的开放问题也值得深想:一个模型连自己有没有漏掉东西都不知道,那下一步是不是该让它学会“自我核查”,比如主动问自己“我是不是还有没找到的数据”?听着像给AI配一个内置质检员,而这个质检员眼下还完全不存在。

Q&A

Q1:

A:

Q2:模型都认出概念了,为什么还会漏数字?

A:论文发现,识别概念(比如判断某数字是不是“营收”)和穷尽式找出所有相关数字,是两种不同的能力。实验显示,八个主流模型的概念识别准确率高达97%以上,但在已识别正确的分组里,仍有26.6%到41.9%存在数字遗漏,希腊语文本的召回率尤其普遍偏低。

Q3:专门训练的金融AI模型表现会更好吗?

A:不一定。论文测的四个金融专用模型(如

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
  2. 阿里云单季收入突破600亿,吴泳铭:算力紧缺是长期现实,数据中心建设目标可能下调

    【TechWeb】11月20日消息,阿里巴巴发布2027财年第二季度(自然年2026年7—9月)财报,该季度阿里云板块收入609.73亿元,同比增长53%,其中,外部客户收入同比增长64%,刷新近六年来的增速高点。剔除一次性硬件交付后的外部经常性收入增速进一步升至67%。在资本开支同比大增60%至504.77亿元的重投

    来源 腾讯网
  3. Anthropic上市:发行价83美元,阿莫迪从GPT-2警示到敲钟

    美国时间11月19日,Anthropic正式登陆纳斯达克,以“ANT”为股票代码挂牌,创下了全球史上最大规模IPO纪录。就在上市前一天,Anthropic将发行价定在每股83美元,并将发行数量从8.25亿股增加到9.8亿股,最终公开发行规模达到813.4亿美元。按发行价计算,这家成立不到六年的AI公司,完全稀释估值约为

    来源 腾讯网
  4. 英伟达财报光鲜背后:科技高管为何呼唤黄仁勋回归

    英伟达最新财报再度交出亮眼成绩,数据中心与AI芯片需求依然强劲;但与此同时,一批科技高管公开呼吁黄仁勋回归。同一家公司为何呈现两种截然不同的叙事?本文从财报数据与行业声音出发,剖析英伟达在增长隐忧与战略焦虑之间的真实处境。

    来源 AI 科技快讯
  5. 快手三季度亏损9.59亿:可灵AI加码,研发开支涨41.9%

    中经记者 李静 北京报道快手正在经历一次并不轻松的业务换挡。一边是广告、电商和直播等传统业务承压,收入和利润出现明显下滑;另一边是可灵AI等人工智能业务持续加码,研发投入快速增长。11月19日,快手发布2026年第三季度业绩。财报显示,报告期内快手实现营收315.92亿元,同比下降11.1%;期内亏损9.59亿元,上年

    来源 腾讯网
  6. AI攻破ETH猜想:理论计算机学界遭遇冲击波

    陈世腾老师(左)与同学们讨论交流(图:受访者提供)北京时间10月27日早晨6点半,陈世腾起床后看到新闻——“ETH指数时间猜想被AI证否!”这个猜想被视为理论计算机科学的重要支撑。陈世腾说,ETH猜想被否定,意味着“这个领域可能几百上千篇的Papers(论文),(论证)前提已经爆炸了”。陈世腾博士是中科院软件所副研究.

    来源 腾讯网
  7. Data World给AI数据分析师造平行世界:先定真相再生成数据

    你有没有想过一个问题:如果让AI帮你分析一堆销售数据,找出业绩下滑的原因,你怎么知道它说得对不对?这听起来像是个蠢问题。数据就摆在那儿,AI算出来的数字,对一下不就知道了吗?但真正麻烦的不是那些能算出来的数字,而是那些需要解释的结论。比如AI说"销量下滑是因为优惠券过期了",这个结论对吗?你翻遍数据,发现确...

    来源 腾讯网
  8. 谷歌论文:光改提示词智能体成功率反降,改运行框架升至40%

    调教 AI 智能体,惯用手法是反复打磨提示词。谷歌 11 月 17 日发表的论文却给出反直觉结论:只改提示词,智能体成功率反而从 5% 跌到 2.5%;而让优化模型直接改写其运行框架,成功率冲到 40%,足足 8 倍。 142 行代码,拆成四块逐个改 Harness 指包裹在模型外围的运行框架,负责

    来源 AI 开发者社区
  9. 阿里平头哥启动上市:百亿营收芯片业务待独立估值

    11月19日晚,阿里巴巴CEO吴泳铭在财报电话会上透露,千问已经在平头哥芯片上训练下一代模型,百炼也已基于国产芯片提供模型推理服务。 三个月前,阿里公布了一次业务调整:云智能集团与平头哥整合为“AI云与算力服务”。两项业务被放进同一个财务分部,阿里希望芯片与云计算更加紧密地配合。 9月11日,平头哥向港交所秘密递交了上

    来源 AI 行业观察
  10. 阿里27财年2季报:AI云收入610亿,算力紧缺成最大变数

    在因高端芯片被卡脖、股价大幅回调后,阿里巴巴 19 日晚发榜了 27 财年 2 季度的业绩。单看本季财报表现相当不错,基本没有大瑕疵。 AI 云增速继续加快且利润率明显改善;电商板块增长企稳 & 外卖减亏后盈利修复;连新拆出的 AI 实验室与应用板块也营收加速、亏损收窄。 但问题就出在,市场关心的不是现在,而是若之后算

    来源 AI 行业观察
  11. 拼多多三季度营收1083亿净利295亿:千亿扶持转向产业带

    2026年第三季度,拼多多交出一份略显平淡的财报。报告期内,公司实现营收1083亿元,归母净利润295亿元,两者均与去年同期相比基本持平。图片来源:拼多多财报在增长故事成为惯性的背景下,平稳的成绩单背后藏着公司主动做出的战略取舍。拼多多在财报中解释,由于公司在这一阶段加大对全产业链扶持、生态治理与商家服务的投...

    来源 腾讯网
  12. 黄仁勋被罢免后英伟达发财报:H200停售中国,业绩仍增长

    英伟达罢免CEO黄仁勋的余波仍在持续。本周发布的财报显示公司业绩稳健增长,管理层并承诺好日子还将延续;与此同时,这家芯片巨头宣布将停止在中国销售H200芯片,并驳回了外界部分呼吁。一边是亮眼业绩,一边是人事地震与地缘政治压力,英伟达正处在近年来最微妙的十字路口。

    来源 AI 科技快讯
  13. 阿里云All in国产芯片:平头哥2027年承接多数新增AI芯片供给

    卖芯片这件事已经写进了阿里的增速里。文丨猎云精选 ID:lieyunjingxuan作者丨王非阿里财报电话会上,平头哥被提及 19 次,战略重视程度不言而喻。如果说 11 月 10 日阿里官宣分拆全资芯片子公司平头哥是 “果”,那么埋下的 “因”,就藏在 11 月 19 日最新财报之中。2026 年 6 月阿里重组完成

    来源 腾讯网
  14. 谷歌让AI自改运行框架:成功率由5%升至40%

    谷歌11月17日论文发现:只优化提示词,AI智能体成功率反从5%降至2.5%;而让优化模型直接改写其运行框架Harness,成功率升至40%,提升8倍。团队将仅142行的初始编程智能体拆成四块逐一改造,Harness负责上下文与记忆管理、多轮任务调度、工具调用及结果验证。结论是改框架比磨提示词更有效。

    来源 AI 产业速递
向下滚动自动加载更多