EVA-Cap:当AI给视频配音配字幕时,它到底有没有看懂谁在说话

资讯 腾讯网 作者:科技行者 全文 5157 字 · 约 13 分钟读完 分类语音

你有没有刷到过这样的视频:一个厨师一边切菜一边讲解步骤,镜头切到锅里的食材特写,但解说声音其实是从旁边一个没出镜的人嘴里说出来的。如果让AI来给这段视频写一句描述,它很容易把那句解说词安在厨师头上,因为画面里只有厨师看起来像在说话。这个错误看起来很小,但它恰恰戳中了当前AI视频理解技术的一个大麻烦。**当...

你有没有刷到过这样的视频:一个厨师一边切菜一边讲解步骤,镜头切到锅里的食材特写,但解说声音其实是从旁边一个没出镜的人嘴里说出来的。如果让AI来给这段视频写一句描述,它很容易把那句解说词安在厨师头上,因为画面里只有厨师看起来像在说话。

这个错误看起来很小,但它恰恰戳中了当前AI视频理解技术的一个大麻烦。

**当AI模型把文字和声音对应错了人,整段描述的可信度就崩了**

这不是危言耸听。想象你在读一篇新闻报道,记者把采访对象的话错安在另一个人身上,哪怕报道里其他细节都写得很精彩,你也会立刻怀疑整篇稿子的可靠性。视频描述也是一样的道理,一旦角色和台词对不上号,读者(或者说下游用AI生成的其他系统)就没法信任这段文字了。

这篇来自复旦大学和OPPO AI中心的论文,就是奔着解决这个问题去的。他们把这套系统取名叫EVA-Cap。

先说说现在的AI到底卡在哪

要理解EVA-Cap的价值,得先搞清楚它要挑战的对手是什么水平。

近些年,**全模态语言模型**

全模态语言模型(

成了视频理解领域的新宠,像

这意味着什么?意味着模型压根没有刻意区分视频里到底发生了哪些具体的事件,谁在做什么,谁在说什么,这些事情发生的先后顺序和同步关系是什么。它只是在学习怎么把文字写得通顺、像那么回事。结果就是,生成的句子读起来语法没问题,逻辑上也说得过去,但一对照原视频,细节全对不上。

论文里给出了具体的数据佐证这种"看起来挺好但实际不靠谱"的状况。在

为什么会这样?论文指出一个根本原因:现有的训练数据和训练方法,都是把一段视频描述当成一个不可拆分的整体来优化的。

打个比方,这就像你让一个学生写一篇关于一场足球比赛的报道,但你给他的评分标准只有"这篇报道整体读起来通顺不通顺",而不去检查他有没有写对每个进球是谁踢的、助攻是谁传的、角球发生在第几分钟。如果不按事件逐条核对,学生完全可以靠华丽的辞藻蒙混过关,哪怕他压根没看清楚比赛细节。现有的视频描述训练方法,很大程度上就是这种"只看整体通顺度"的评分思路,这也是为什么模型会频繁出现张冠李戴的问题。

把视频拆成一个个"事件积木"

EVA-Cap的解法是,不再把一段视频描述当成一整块文字去优化,而是先把它拆解成一个个独立的"事件单元",再分别检查每个单元对不对,最后再看这些单元拼在一起的逻辑是否自洽。

论文里给每个事件定义了一个四元组结构:模态(是视觉事件还是音频事件)、事件类型(比如是动作、镜头运动、环境文字,还是语音转文字、背景音)、涉及角色、具体内容。

有了这套拆解方式,模型要对齐的目标就从模糊的"整体感觉对不对",变成了三个清晰的维度。

第一个维度叫**

全局事件完整性(Global Event Completeness):检查一段AI生成的视频描述,是不是把视频里真正发生的所有重要事件都说到了,没有遗漏,这个指标本质上是在算"事件召回率"。

说白了就是查漏补缺,视频里该提到的事,你写了没有。

第二个维度是**

事件内部归因(Intra-Event Attribution):检查描述里提到的某个动作或台词,是不是安在了正确的人物身上,而不是张冠李戴。

这就是开头说的那个厨师案例要解决的问题。光是提到了某句话还不够,这句话到底是谁说的,必须对上号。

第三个维度叫**

事件间同步性(Inter-Event Synchronization):检查音频事件和视觉事件在时间上有没有真的对齐,比如一个人说话的时候,画面是不是真的在拍这个人,而不是这句话其实发生在另一个镜头里。

这三个维度合在一起,基本上把一段视频描述的"靠谱程度"从三个角度都卡死了:有没有漏事、有没有认错人、有没有对错时间。这比单纯地判断"这段话读起来像不像人话"要严格得多。

数据从哪来:一条从粗到精的流水线

光有评判标准还不够,训练模型需要大量高质量的数据,而这恰恰是这个领域最缺的东西。

论文团队设计了一条三阶段的自动标注流水线。

第一步叫初始化,先用一个叫

第二步是精炼,把原始视频和这份草稿一起丢给

第三步最关键,叫事件级质量控制。团队用Gemini-2.5-Pro从原始视频里直接提取带时间戳的音视频事件元组,然后把这些事件元组连同精炼后的描述一起交给

**这套流水线最终从10万个视频里筛出了6.3万个高质量的音视频描述对,取名叫

如果不做这最后一道事件级核验会怎样?很可能数据集里混进大量看起来写得挺漂亮、实际上细节全错的样本,模型学了这些数据,只会把错误的习惯学得更牢固。这就像招聘时只看简历写得好不好看,不去核实工作经历的真实性,招进来的人迟早要出问题。

从统计数据看,这6.3万条数据平均每个视频时长73.7秒,对应的描述平均有504.3个单词,覆盖教育、新闻、体育、科技等9大类内容,而且音频事件和视觉事件的数量分布很均衡,没有明显偏向某一种模态,这保证了训练出来的模型不会养成"重画面轻声音"或者反过来的坏习惯。

两阶段训练:先学会说话,再学会对齐

有了数据,接下来是怎么训练模型。EVA-Cap的底座是

第一步是**

监督微调(Supervised Fine-Tuning,简称

这一步就是打基础,让模型先学会把视频里看到的、听到的东西,用一段结构完整的文字表达出来。

第二步是**

群体相对策略优化(Group Relative Policy Optimization,简称

这一步是真正体现EVA-Cap巧思的地方。模型会针对一个视频生成8个不同版本的描述,然后用前面提到的三个事件级奖励(完整性、归因、同步性)给每个版本打分,分数高的会被模型学习和强化,分数低的会被压低生成概率。

这里有个细节设计得很讲究:**EVA-Cap没有一股脑把三个奖励同时扔给模型,而是分两轮逐步引入**

第一轮只用全局完整性和事件同步性两个奖励,第二轮才把角色归因奖励也加进来。论文的解释是,如果一开始就同时给三个目标,模型会在"事件之间的关系"和"单个事件内部的准确性"之间来回拉扯,优化方向会打架。

这让人联想到教小孩学骑自行车的过程。你不会一上来就同时要求孩子保持平衡、控制方向、还要注意刹车时机,这样孩子大概率会手忙脚乱摔倒。更合理的做法是先让他学会不摔倒(对应全局完整性和同步性这种粗粒度目标),等基本能骑稳了,再去纠正细节姿势(对应角色归因这种精细目标)。消融实验也验证了这个直觉,如果在第一轮就把归因奖励加进去,

效果到底怎么样:数据说话

论文在六个基准测试上做了全面评估,这里挑几个最能说明问题的数字。

在video-SALMONN-2测试集上,EVA-Cap的总错误率是34.6%,比同样规模的

在需要先生成描述、再靠这段描述去回答视频相关问题的QA级联测试里,EVA-Cap在

最能体现这篇论文核心贡献的,是在专门考察事件级对齐能力的

论文里还放了一个很直观的案例对比。有个视频里,一只动画小狗在人行道上对一个男孩说"我知道,你是因为可怜我才救了我"。AVoCaDO错误地把这句话的发生地点对应到了人行横道中间的那个镜头,还把这句台词安在了男孩头上。而EVA-Cap准确识别出这句话发生在人行道边的场景,并且正确地认出是小狗在说话,男孩在回应。这个案例说明,在存在多次镜头切换、多个角色交替出场的复杂场景里,EVA-Cap依然能保持精确的事件对齐能力,这正是前面提到的归因奖励在起作用。

哪个奖励贡献最大:拆开来看

消融实验把三个奖励拆开,单独和组合着测试效果,结果很能说明问题。

| 训练设置 | V2A准确率 | A2V准确率 | 说话人归属准确率 | Daily-Omni准确率 |

|---|---|---|---|---|

| 基线模型 | 8.4% | 11.9% | 3.1% | 12.4% |

| 仅SFT | 44.8% | 46.1% | 31.8% | 50.1% |

| SFT+完整性奖励 | 53.3% | 52.9% | 33.9% | 53.8% |

| SFT+完整性+同步奖励 | 53.8% | 55.0% | 37.0% | 55.0% |

| **SFT+全部三个奖励(两阶段)** | **55.4%** | **56.2%** | **40.1%** | **56.1%** |

这张表格里最震撼的对比其实是第一行和第二行,基线模型没经过EVA-Data训练时,V2A准确率只有8.4%,说话人归属更是只有3.1%,几乎接近瞎猜。而光是用EVA-Data做了监督微调(第二行),这两个数字就直接跳到44.8%和31.8%。这说明高质量的事件级数据本身就能带来巨大提升,这也验证了作者在论文一开始强调的判断:数据质量的缺失才是问题的根子。

之后每加一个奖励,各项指标都在稳步爬升,而且三个奖励加在一起的效果,明显好过只用其中一两个,说明这三个维度确实分别捕捉到了不同的信息,不是互相重复的。

论文还做了一个很严谨的补充实验,用来区分到底是数据的功劳还是奖励设计的功劳。他们把EVA-Data换成另一个没经过事件级质量控制的数据集

它还不完美的地方

论文也坦诚列出了EVA-Cap目前的失败案例。

一种情况是视频镜头切换特别快的时候,模型还是会出现画面描述遗漏,或者音画对不上的问题。另一种情况是多角色同时在场、而且有人是画外音在说话时,模型容易把台词的归属搞错。作者认为这背后的根本原因是,模型在复杂动态场景里对具体"实例"的理解能力还不够强,没法在空间和时间上把音频线索和视觉线索牢牢绑定到某个具体的人或物身上。

团队表示未来打算引入**

接地式音视频描述(Grounded Audiovisual Captioning):一种更进一步的技术思路,要求模型不仅生成文字描述,还要把每个音频和视觉线索精确地指向视频里某个具体的、有空间位置和时间范围的实例对象。

这个方向,来进一步提升描述的可信度。

此外,论文也诚实地提到了数据构建过程本身的局限。整条标注流水线虽然做到了自动化和可扩展,但本质上还是依赖Gemini、GPT-4.1这类商业闭源模型来生成和核验数据,这意味着标注结果可能带有这些"教师模型"本身的偏见,经过自动核验之后也难免残留一些错误。团队透露未来想往多模型交叉验证的方向改进,让不同模型互相挑错、递归修正,减少对单一模型的依赖。

写在后面

读完这篇论文,最触动我的不是EVA-Cap最终跑出来的那几个百分点提升,而是它处理"精调攻击顺序"这件事的方式。

很多强化学习相关的论文在设计多目标奖励时,往往默认把所有目标同时塞进去、调好权重就完事了。EVA-Cap的消融实验恰恰证明了这个默认做法可能是错的:先同步后归因的两阶段策略,比一次性全给的效果好得多,而且差距不小(V2A准确率差了将近6个百分点)。这提醒我,模型学习的顺序本身也是一种需要精心设计的资源,不是加法题,是有依赖关系的因果链条。

还有一个细节值得单独说一说。论文里提到HumanOmniV2用12.3%的超低幻觉率换来了49.2%的高漏报率,这组数字放在一起特别有意思,它揭示了一个容易被忽视的评测陷阱:如果一个评测体系只盯着"有没有说错",而不同时盯着"有没有少说",模型就有动力学会沉默是金。这种"藏拙式优化"在很多AI评测场景里恐怕都普遍存在,值得警惕。

视频里那只没说出口的画外音,那个被镜头切走却仍在继续说话的人,那些稍纵即逝的同步瞬间,AI到底能不能真正"看懂"这些细微的错位,恐怕还有很长的路要走。

Q&A

Q1:EVA-Cap是什么?

A:EVA-Cap是复旦大学和OPPO AI中心联合提出的音视频视频描述模型,它把生成视频描述的过程拆解成事件级的对齐任务,通过事件完整性、角色归因、音视频同步三个维度来优化,解决了传统方法容易张冠李戴、漏报事件的问题。

Q2:EVA-Data数据集是怎么构建的?

A:EVA-Data通过三阶段自动标注流水线构建,先用AVoCaDO生成初始描述,再用Gemini-2.5-Pro进行内容精炼和时间对齐,最后用GPT-4.1对照原始视频事件逐条核验命中率,筛掉命中率低于80%的样本,最终从10万视频中得到6.3万条高质量数据。

Q3:EVA-Cap相比其他音视频描述模型效果提升多少?

A:在event-centric评测ChronusAV上平均提升约9%,在WorldSense基准上提升3.3%,说话人归属准确率达到40.1%,比DiaDem等模型高出近8个百分点,同时在video-SALMONN-2测试集上总错误率降至34.6%,优于同类开源模型。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. ElevenLabs收购Kotoba:语音AI巨头进军日本,交易2026年四季度完成

    全球语音人工智能领域迎来了一起备受瞩目的行业整合。知名语音 AI 企业 ElevenLabs 于近日正式宣布,已成功收购日本领先的语音 AI 实验室 Kotoba。通过此次强强联手,双方将共同加速 AI 智能体与语音交互界面在全球第四大经济体的深度落地与普及。 突破语言文化壁垒:打造适应本土化深层语

    来源 AI 开发者社区
  2. ElevenLabs收购日本Kotoba:语音AI智能体加速落地日本

    全球语音AI领域现重要整合:ElevenLabs宣布收购日本领先语音AI实验室Kotoba。双方将强强联手,加速AI智能体与语音交互界面在全球第四大经济体日本的落地普及。此次合作意在突破语言文化壁垒,打造适应本土化深层语境的语音AI,应对地域色彩、复杂方言等交流差异,推动语音技术更自然融入当地市场。

    来源 AI 产业速递
  3. OpenAI首款AI硬件年底出货:立讯精密独家代工,“甜甜圈”真机渐近

    【TechWeb】OpenAI的首款AI硬件产品有了明确的时间表。11月19日,每日经济新闻援引供应链消息称,这款产品计划于2026年底启动出货,多家中国厂商深度参与其中——立讯精密不仅独家承担整机制造,还同时供应核心零部件。不过,关于这款硬件的具体形态,OpenAI官方至今仍未正式公布,“甜甜圈”“冰球”式的无屏设备

    来源 腾讯网
  4. TRAE合并版实测:一晚搭好AI语音合成服务,一体化真能提效?

    本文记录了使用新版 TRAE 开发工具,从零构建一个包含 Flask 后端、双引擎 TTS(SenseNova/Edge-TTS)和 PIL 封面生成的完整流程。重点对比了 Agent 模式与 IDE 模式的协作体验,分析了上下文连续性带来的效率提升,并指出了 Windows 环境下的适配问题及改进建议。

    来源 AI 应用前沿
  5. HPE推ProLiant Gen13服务器:搭载第六代AMD EPYC,主打AI推理与安全

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  6. HPE ProLiant Gen13上新:第六代AMD EPYC加持,面向AI推理与企业负载

    为此,HPE以全新ProLiant Gen13服务器作出系统性回应。HPE此次推出的两款ProLiant Gen13服务器,融合HPE深厚的工程技术积淀与AMD EPYC 9006 SP7处理器的性能优势,在核心密度、内存带宽及I/O能力等方面实现进一步提升,为企业应对AI时代多元化、复杂化的计算需求提供强劲算力支持。

    来源 TechWeb
  7. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  8. 英伟达临时CEO克雷斯回应换帅疑虑:AI芯片业务照常,产品节奏不变

    【TechWeb】11月19日,行业媒体Digitimes发布报道,聚焦黄仁勋辞任后英伟达首次财报电话会议。针对外界“换帅是否会打乱AI芯片供货”的疑虑,临时CEO科莱特·克雷斯(Colette Kress)明确回应:公司业务照常开展。 克雷斯在会上强调,英伟达未来产品的开发与推出节奏保持不变,公司的运营表现、业务展望

    来源 AI 行业观察
  9. OpenAI下场造机!首款AI手机细节曝光,直接叫板传统手机厂商

    【TechWeb】供应链最新消息显示,富士康旗下的富智康集团已拿下OpenAI手机项目订单,负责整机组装环节。据财联社报道,OpenAI的首款手机预计最快2027年底、最迟2028年正式亮相,除组装外,立讯精密、领益智造、瑞声科技等多家苹果供应链厂商也将参与零部件供应。截至目前,富士康方面尚未对上述消息作出回应,产品的

    来源 腾讯网
  10. AI陪伴,硬件的账该怎么算?

    “千万不要做硬件。”心言集团创始人任永亮听过不少这样的劝告。这家做了十年线上情感陪伴软件的公司,在今年10月正式迈进了AI陪伴硬件的“洪流”,发布了第一款AI机器人巴布((Bubbo 1,售价9499元),任永亮也因此多了一个新的身份——心言机器人创始人。做这个决策很难,软件可以更快试错和迭代,而硬件创业则会面临更..

    来源 腾讯网
  11. 71岁郑渊洁用AI“手搓”动画短片,停更两年后宣布全面免费开放

    【TechWeb】11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文

    来源 AI 行业观察
  12. 谷歌 SRE 圣经被迫重写:AI 时代,硬技能在塌陷,第一性原理在升值

    编译|林绮蓓 策划|Tina 2016 年,一本蓝色封面的书砸进了整个技术行业,把“运维”这两个字从地下室拽进了工程学科的殿堂。 在它之前,运维在大多数组织里是一个成本中心,是一群被凌晨告警叫醒的人,是开发团队眼中“拖慢发布速度的那帮人”,是一门靠师傅带徒弟、靠口口相传、靠个人英雄主义在机房里临场发挥的手艺。系统出了故

    来源 AI 行业观察
  13. 腾讯三季度营收2073.4亿元:AI业务多点突破,云服务收入增35%

    腾讯控股发布2026年第三季度财报,AI业务取得多项突破:最新一代混元大模型Hy4发布时位列Agent Arena中国模型第一;WorkBuddy日活超1000万,日均Token消耗量超100万亿,成为国内日均大语言模型Token消耗量最高的AI产品;微信AI助手“小微”灰测范围持续扩大;AI需求带动云服务收入同比增长

    来源 TechWeb
  14. AI生成灾情简报:格式完整,数字却对不上

    你有没有遇到过这种情况:一份报告格式工整、每个该有的栏目都填满了,看起来专业极了,但你细读之后发现,里面关键的数字对不上,日期是错的,连发布机构都没写清楚。这不是危言耸听,这正是一篇最新论文揭示的问题,而且问题出在一个你可能想不到的地方:AI生成的灾难情况报告。**灾难发生后,第一时间需要的不是故事,是...

    来源 腾讯网
  15. 谷歌提出SIM记忆机制:让AI智能体跨模型持续自我改进

    模型一换,精心优化的 agent harness 可能立刻“水土不服”。专为 Claude 演化的 harness 甚至可能给 Gemini 带来“负收益”。因此,模型迁移后需要重新评估继承的修改,判断哪些仍然有效,哪些需要修订。 harness 管理 agent 的上下文、工具和执行流程。递归自我改进(RSI)虽会依

    来源 AI 行业观察
  16. 会用AI的人,更容易找到工作?

    AI已经广泛融入游戏开发的多个环节。这个趋势也影响了厂商对人才的需求。一份腾讯IEG2026年的实习生招聘材料里显示,游戏AI相关岗位的需求明显提升,部分岗位开设了AI面试或AI Coding考察。 这一趋势在世界范围内也是共通的。GDC在2026年11月发布的统计中显示,40%的受访游戏从业者会在工作中使用生成式AI

    来源 AI 行业观察
  17. 马斯克预测:2031年AI智慧或超全人类总和?

    在接受《经济学人》采访时,全球首富埃隆 · 马斯克(Elon Musk)大胆预测,称未来约 5 年内,即约 2031 年,人工智能(AI)超过全人类智慧的总和。到那时,除“作为人类”之外,几乎没有什么是 AI 不能比人类做得更好的。

    来源 IT之家
向下滚动自动加载更多