K-Pop舞台镜头推拉下,AI人体重建为何把舞者“拽”向摄像机

资讯 腾讯网 作者:科技行者 全文 5048 字 · 约 13 分钟读完 分类学术研究

你有没有想过,一段几秒钟的K-Pop舞台视频,镜头猛地往前推,去抓拍领舞的特写,然后又猛地拉远,扫过整个舞台,会让最先进的AI动作捕捉系统彻底"晕头转向"?这不是夸张。来自国立阳明交通大学和波士顿大学的研究团队发现了一件挺让人意外的事:那些在学术榜单上表现完美的"世界空间人体恢复"模型,一旦遇到真实的广播级舞台视频..

所属频道 前沿研究

几秒钟的K-Pop舞台视频,镜头猛地推近去拍领舞特写,再猛地拉远扫过全场——你有没有想过,这种画面会让当前最先进的AI动作捕捉系统彻底“晕头转向”?

这可不是夸大。国立阳明交通大学和波士顿大学的研究团队碰上了一件挺意外的事:在学术榜单上表现完美的“世界空间人体恢复”模型,一旦遇上真实的广播级舞台视频,舞者的轨迹就会整体朝镜头方向滑动,像被摄像机“吸”过去,幅度甚至能达到好几米。可画面里跳舞的人,明明稳稳站在原处没动。

这篇论文干的事,说白了就是破案:先定位问题出在哪儿,再拿出一个不用重新训练模型、直接就能修好的办法。

舞者原地跳,AI却说她在“穿越”

先把这个领域在做什么讲清楚。

世界空间人体恢复,指的是从一段视频里同时弄明白两件事:摄像机自身怎么动,画面中的人在真实世界坐标系里又怎么动。听着有点绕,换个说法——你拍视频时手机在动,画面里的人也在动,AI得把这两种“动”拆开,再把人体的动作还原到一个固定不动的、类似“舞台地板”的坐标系中。

它的应用价值不难想到:编舞分析、虚拟拍摄、数据生成,都得先把人真正的空间位置弄准,后面才谈得上往下做。

眼下做这件事,主流思路有两条。

一条是直接从动作本身去猜世界坐标,比如根据一个人走路的姿态和步频,推断他在真实空间里移动了多远。问题是这招有个硬伤:人要是在原地跳舞,步态里压根不含“位移”信息,这套方法就只能瞎猜。

另一条叫组合式方法:先用视觉里程计(Visual Odometry,简称VO,一种只靠视频画面推算摄像机自身移动轨迹的技术,不需要GPS或任何额外传感器)算出摄像机怎么动,再用

这套组合式方法在现有的几个权威测试集上表现相当不错,比如

于是团队做了件很直接的事:拿现成的组合式方法去跑K-Pop广播视频。结果发现,舞者的世界空间轨迹严重“跑偏”,画面里人物的网格叠加也开始跟不上图像。

这就像去医院体检,各项指标在“安静状态”下测都正常,医生偏让你跑个步再测,心率表突然乱跳。安静状态把问题盖住了,运动状态把它暴露出来。要是体检只测安静状态,这个心脏问题可能永远被漏诊。对AI模型来说,K-Pop视频就是那场“跑步测试”。

案发现场:摄像机没问题,人体姿势也没问题,问题出在哪儿?

团队没急着下结论,而是像侦探一样把整条处理链拆开,一步步排查。

第一个嫌疑对象:HMR模型本身,也就是负责“看图识人”的那部分。

K-Pop舞台视频里,演员常常很小、挤在一起,镜头忽远忽近,人在画面中的“视觉大小”变化很快。研究者怀疑是不是这种复杂场景把HMR模型搞糊涂了。可他们逐帧检查后发现,每一帧单独拿出来看,人体姿势网格都贴合得挺好,镜头怎么拉近拉远,人的轮廓都对得上。这个嫌疑人被排除了。

第二个嫌疑对象:视觉里程计,也就是推算摄像机轨迹的那个模块。

广播视频切镜头快、背景常变,确实很容易把VO搞乱。团队用了一个很巧妙的检验方法,叫

这个检验的思路挺聪明。如果VO模型真的理解了场景的几何结构,那么不管顺着时间轴播放还是倒着播放,它推算出的摄像机路径都该是同一条路,只是方向相反。打个比方,你开车从A到B,别人倒放这段行车记录仪视频,推算出来的路线应该还是那条路,不会凭空多出几个弯道。

团队跑了这个测试,发现K-Pop视频里被挑出来用的那批片段,

两个主要环节都查清白了,问题到底藏在哪?

答案是:藏在“拼接”这个动作本身。

真凶浮出水面:两套各自为准的尺子,拼在一起就错位了

论文最核心的发现,就落在两套估算各自的“尺子”上。

一边是VO算出的摄像机移动量,另一边是HMR算出的、人体在摄像机坐标系里的位置。两者都是单独估出来的,各自还都带着一套“自己的尺度”。

所谓“自己的尺度”,根源在于视频是单目拍的,没有深度传感器。VO算摄像机挪了多远,HMR算人离镜头多远,说到底都只能得出一个相对比例,拿不到绝对的米数。打个比方,两把尺子量同一件事:一把说摄像机往前挪了3个单位,另一把按自己的刻度说其实挪了5个单位。这两个“单位”本就不是一回事,可组合公式却直接把两者当成同一尺度,相减相加。

论文举了个很形象的例子。VO算出摄像机往前推了3个单位,而HMR那边看到画面里人的“视觉距离”缩小了相当于5个单位的量——镜头推近,人在画面里变大,这个变化被HMR换算成了5个单位。公式为了两头数字“对得上”,就把本来站着不动的舞者,硬往摄像机方向挪了2个单位。

这就是

这个解释有个很漂亮的验证方式。团队专挑舞者原地站定不动的片段,这时真实位移本该是零,算出来的任何位移都是误差本身,与舞者的动作无关。他们在多段K-Pop视频里专门找这种“静止区间”检验,结果漂移量确实跟着摄像机的移动路径走,摄像机动得越多,漂移越严重。尺度不匹配的猜想由此得到印证。

还有个细节:这种漂移在现有测试集上几乎看不出来,恰恰因为那些测试集里摄像机移动得“克制”。公式里的漂移项与摄像机位移成正比,摄像机动得少,漂移自然就小,小到被淹没在正常误差里。可广播级镜头动辄大幅推拉摇移,这个原本隐身的误差项就被放大到肉眼可见。

案子破了,接下来怎么修?

病因既然找到,药方也就清楚了:两套尺度对不上,是因为各自带着未知的比例因子,那就想办法把这个比例因子从数据里“解”出来。

论文把这个比例因子记作s。s等于1,说明两套尺度完全一致,没有误差;s不等于1,静止的人就会沿摄像机移动方向产生虚假漂移,大小为(1-s)倍摄像机位移。

团队利用

光靠脚部接触还不够可靠——脚踩着地,身体也可能在小幅平移,摄像机旋转的误判也会掺进来。团队于是又加了两道筛选:一是看演员的位移方向是否严格沿摄像机移动方向,按公式推导,纯粹的尺度误差只会让人沿摄像机路径漂移,方向偏离太多就说明演员可能真在动,这个区间要排除;二是估算摄像机旋转误差可能带来的干扰量,只有真实平移信号明显大于旋转误差造成的噪声,这个区间才会被采纳。

经过这些筛选留下的时间窗口,团队用加权最小二乘法去求解尺度因子s,而且这个求解过程是

算出s之后怎么用?公式很简单:把摄像机位移乘以修正后的尺度s,再重新和人体位置拼接。这个操作对整段视频里所有演员统一生效,相当于把整个表演团体当成一个刚体,一起往“正确”的方向挪一下,纠正镜头造成的集体漂移,演员之间原本的相对站位关系保持不变。

这里有个挺重要的工程选择:团队没有对每个人单独算尺度,而是整段视频共用一个尺度。原因是广播镜头在三个维度上同时移动,不只往前推,还会左右摇、上下移,若按单个方向分别拟合再拼起来,反而会引入新的不一致。相当于给一支舞蹈队调整整体站位,而不是让每个人各自瞎挪,否则队形很快就乱了。

修完之后,还得再精修一遍

光靠这个

这个优化过程里有几个比较巧妙的设计。

一个是

另一个是接触感知的运动损失。简单说,某个关节被判定正接触地面时,这个关节在接下来几帧里的移动量应该很小,用来压制“脚看起来踩在地上却在不停打滑”的现象,论文里叫作

团队还发现一个有趣的现象:仅靠PGO这套物理优化,也能把一部分漂移“压”下去,但若不配合前面那个闭式尺度修正,PGO只能把漂移从比较大的量级压到中等量级,压不干净,静止的演员依然会在场景里慢慢“爬行”。只有两者配合,

论文给出的实验数据很直观:在100个最动态的K-Pop片段上,不加漂移修正时,二维重投影的

拿什么当“标准答案”:固定机位摄像机

广播视频本身没有世界坐标真值,没人能告诉你舞者“真的”站在舞台哪个坐标点上。研究团队想了个办法:去找那些同时被广播镜头和场馆固定机位拍下的演出。

固定机位在场馆里几乎不动,镜头始终罩住整个表演团体,画面中很少有漂移干扰,重建结果因此更干净,适合拿来当较可靠的参照。

团队手工配对了11段时间同步的片段,涵盖989帧、78位表演者,用这些配对数据算出一个叫Ratio(比例)的指标,表示某个方法重建出的世界空间位置跟参照系相比,整体缩放比例要乘多少才能对齐。理想情况下这个比值应该是1。

结果显示,论文提出的方法得到的比值是0.90,是所有被比较方法里最接近1的,而且在

这里有个很值得琢磨的细节:论文发现有些方法在单张画面里看起来位置挺准,整段视频拉出来看,轨迹却散得到处都是。这种“滑动”问题在单帧快照里完全看不出来,只有把整段轨迹拉出来跟参照系对比,才会发现它被稀释掩盖了。这跟体检报告里的“瞬时正常值”陷阱很像:量一次血压显示正常,连续24小时监测却可能发现血压在剧烈波动,只是你恰好在它正常的那一刻测了一下。

换了不同的"地基",这套做法同样立得住。

一个修正方案要是只在某一种VO与HMR搭配下才管用,意义就有限。团队专门做了跨组件验证,把这套漂移修正分别接到不同的视觉里程计上(比如PromptHMR搭配……)。结果是:无论底层用哪套系统组合,加上修正之后,世界空间的抖动和脚部滑移指标普遍明显下降,连原本表现很差的组合也不例外。

论文里还提到了一个比较特别的参照方法,叫……

那什么情形下它会失手?论文本身也直说了局限。

假如某个演员在视频里被长时间挡住(比如被其他舞者遮了好几秒),HMR在这段时间给出的摄像机空间深度估计可能本身就是错的。而这套修正对整段视频、整个团体统一施加一个尺度,等于把所有人"打包"一起挪,没法单独修某一个人身上已经出错的深度估计。论文展示了一个具体案例:被长时间遮挡的演员,在重建结果里会被摆到离团体好几米远的地方,遮挡结束后位置才逐渐回到正常。

另外,这套

写在后面

读这篇论文,真正触动我的不是那个数学公式,而是他们排查问题的整套方式。研究者没有一上来就往模型里塞东西、调参数,而是先花大量篇幅证明"哪里没有问题":摄像机轨迹没问题,单帧人体姿态没问题。这种排除法式的诊断,在工程领域其实比直接给方案更难,因为你得先压住"赶紧修一下"的冲动,老老实实把每个环节单独拎出来验证。

另一点让我意外的是,这个漂移问题的根子,其实跟深度学习模型强不强没多大关系。HMR模型再准、VO算法再先进,只要它们各自输出的是"相对尺度"而非"绝对尺度",组合环节就必然埋着这个隐患。这是结构性的问题,不是哪个模型学得不够好。它也提醒人,很多系统性误差不是换个更强的模型就能解决的,得去审视模块之间接口上的假设本身。

论文里拿固定机位摄像机当参照系的办法也挺朴素,没用啥高大上的传感器,就是找同一场演出的两个不同拍摄角度,一个是晃来晃去的广播镜头,一个是老老实实不动的场馆机位,用后者去校验前者。这种"用笨办法解决没有真值的问题"的思路,本身就值得记一笔。

假如将来AI真能把一段镜头剧烈切换、人群拥挤的现场演出视频完全看懂,还能准确还原出舞台上每个人的实际站位与移动轨迹,那编舞复盘、虚拟重拍乃至自动生成AI训练数据,门槛大概都会降下来不少。这篇论文眼下只补上了其中一块——摄像机与人之间的尺度错位。不过它补上这块的方式,或许比结果本身更让人记得住。

Q&A

Q1:

A:这个评测集由论文作者搭建,共收录616段K-Pop广播舞蹈视频,镜头移动又快又猛,还夹着多人密集编舞,目的就是看现有AI人体重建方法碰上高速镜头会不会失灵。

Q2:为什么AI重建的舞者会跟着镜头一起漂移?

A:视觉里程计算出的摄像机位移,和人体恢复模型算出的人体位置,各自带一套比例尺度。两套尺度本该对得上,实际却常常对不拢。拼到一起时,镜头运动就被错误地叠加到本来静止的人身上,虚假漂移随之出现。

Q3:这篇论文提出的修正方法需要重新训练模型吗?

A:不用。这是闭式求解的尺度修正方案:先找出演员脚部静止的那几段时间,再用数学公式直接算出尺度偏差并加以修正,现成的多种视觉里程计与人体恢复模型组合都能直接套用。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI报告:1819名科学家58万条消息,AI提效最高达2.83倍

    智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月17日消息,今天,OpenAI发布一项研究报告,关于科学家使用ChatGPT的情况以及对AI加速科研发现的看法。据受访科学家估计,在完成同等质量工作的前提下,使用AI的工作效率可达未使用时的约1.9倍。OpenAI经济研究团队以ChatGPT学

    来源 腾讯网
  2. AI生成灾情简报:格式完整,数字却对不上

    你有没有遇到过这种情况:一份报告格式工整、每个该有的栏目都填满了,看起来专业极了,但你细读之后发现,里面关键的数字对不上,日期是错的,连发布机构都没写清楚。这不是危言耸听,这正是一篇最新论文揭示的问题,而且问题出在一个你可能想不到的地方:AI生成的灾难情况报告。**灾难发生后,第一时间需要的不是故事,是...

    来源 腾讯网
  3. 普林斯顿SWEeper-Bench:AI自主找bug成功率仅59%?

    你有没有遇到过这种情况:请一个很能干的朋友帮你装修房子,他干活又快又好,墙刷得平整,柜子装得结实,可装完之后他就走了,从不回来检查一下窗户关不关得严,插座是不是装反了。直到你半夜被漏风的窗户吵醒,才发现问题。这差不多就是现在AI编程助手的真实处境。普林斯顿大学的研究团队做了一个叫SWEeper-Bench的测试,结果显

    来源 腾讯网
  4. AI越聪明选择越单调:马茨实验揭示算法如何压平人类多样性

    我们对 AI 的信任,正在达到史无前例的高度。 无论是在屏幕前码字,还是在生活中做决策,我们都习惯向 AI 寻求那个「完美建议」。用得多了,你甚至会发现它总是精准地踩中我们预期中的最优解。 这种顺滑,很可能是一种被精心设计的心理按摩。 哥伦比亚大学教授桑德拉·马茨用冰淇淋店 Baskin Robbins 做了一个实验。

    来源 AI 行业观察
  5. 英伟达安抚机器人被投企业:物理AI投入不减,业务照常

    IT之家 11 月 18 日消息,科技媒体 Business Insider 今天(11 月 18 日)发布博文,报道称在黄仁勋突发离职后,英伟达及其风险投资部门 NVentures 已联系至少 3 家其投资的机器人初创公司,明确表示业务将“照常进行”,以稳定市场对其机器人投资战略的担忧。这一动作发生在临时 CEO 科

    来源 腾讯网
  6. 郑渊洁71岁用AI做动画,8部短片免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  7. 郑渊洁用AI做动画短片:8部已上线,宣布作品免费开放

    11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文化作品、人人可以参

    来源 TechWeb
  8. 71岁郑渊洁用AI“手搓”动画短片,停更两年后宣布全面免费开放

    【TechWeb】11月17日,停更近两年的郑渊洁在个人社媒发声,宣布了一件让他自己都觉得“振奋和不可思议”的事:对动画制作“一窍不通”的他,已经用AI把自己的童话作品做成了动画短片,全部通过授权抖音账号“郑渊洁童话世界”免费开放观看。这位71岁的“童话大王”在视频末尾向00后道贺——祝贺他们赶上了“可以免费享用精神文

    来源 AI 行业观察
  9. 谷歌 SRE 圣经被迫重写:AI 时代,硬技能在塌陷,第一性原理在升值

    编译|林绮蓓 策划|Tina 2016 年,一本蓝色封面的书砸进了整个技术行业,把“运维”这两个字从地下室拽进了工程学科的殿堂。 在它之前,运维在大多数组织里是一个成本中心,是一群被凌晨告警叫醒的人,是开发团队眼中“拖慢发布速度的那帮人”,是一门靠师傅带徒弟、靠口口相传、靠个人英雄主义在机房里临场发挥的手艺。系统出了故

    来源 AI 行业观察
  10. “AI央行”开启量化紧缩!英伟达新CEO收紧投资闸门,Neocloud融资命脉告急

    英伟达正在重新定义自己在AI生态中扮演的金融角色。这家芯片巨头的临时CEO Colette Kress在本周财报电话会上明确表示,公司将对未来的投资、承诺和财务担保进行"严格评估"。这意味着,黄仁勋时代那种对AI生态"大手笔、广撒网"的金融支持风格,或将正式画上句号。受冲击最大的是新兴的Neocloud赛道。CoreW

    来源 腾讯网
  11. 诺奖得主哈萨比斯的AI制药公司Isomorphic Labs完成50亿美元C轮融资

    智东西11月17日消息,刚刚,由诺奖得主、谷歌DeepMind联合创始人德米斯·哈萨比斯(Demis Hassabis)创办的英国AI药物研发公司Isomorphic Labs宣布完成50亿美元(约合人民币333亿元)C轮融资,融资获得超额认购。 结合公开数据不完全统计,本轮融资刷新该公司此前的单轮融资纪录,可能创下全

    来源 AI 行业观察
  12. Liquid AI发布d1.2决策模型:校准误差0.8,低于Jev与GPT-6

    智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月17日消息,昨日,麻省理工学院(MIT)孵化的美国AI模型独角兽Liquid AI发布全模态决策模型d1.2和d1.2-ultra,两款模型均可处理文本、图像和音频。其中,d1.2-ultra在第三方评测机构Artificial Analysi

    来源 腾讯网
  13. 广州我的影视吃6.82万罚单:AI虚拟人编使用体验被罚

    2026年11月13日,广州市番禺区市场监督管理局对广州我的影视文化传媒有限公司开出罚单,罚款6.82万余元,11月16日对外公开,违法事实是“发布医疗广告违法行为”。这家公司是AI短剧《被裁掉的女孩》的出品方,也是虚拟女主角“方桃子”的运营方。 三个多月前,方桃子在那条60秒的美瞳广告里说:“我的美瞳戴了一天,都很舒

    来源 AI 行业观察
  14. AI 崛起,专业价值被消解,还是被重塑?

    设置星标★关注,从此你的世界多点科学~现代工程项目越来越多地要求人类判断力与机器能力相结合。工程师可以先定义问题,接着借助AI工具检索相关研究成果和技术标准,生成多种设计方案,开展仿真测试,并对比各项结果,然后将结果交给那些“能判断AI所不能判断”的其他领域专家,后者负责评估某款设计可否安全落地、在特定...

    来源 腾讯网
  15. MaLoW:把历史装进模型参数,流式视频AI记住半小时前的事

    你有没有试过一边看直播一边回忆十分钟前主播说过的某句话?大脑不会把那十分钟的画面全部倒带重播,而是留下一个模糊但够用的印象,等你需要的时候,它自己会冒出来。现在想象让一个AI做同样的事情。它要一边盯着摄像头传来的实时画面回答你的问题,一边记得半小时前发生过什么。这听起来似乎不难,但工程上藏着一个让所有...

    来源 腾讯网
  16. 一份看空中际旭创的报告,戳中了AI硬件的最大软肋

    一份看空中际旭创的估值测算,几乎把整个AI硬件资产的估值困境摆到了台面上。 11月17日,一份关于中际旭创的看空测算在投资圈迅速传播。按照这份材料的预测,到2029年,中际旭创的年净利润大约只有300亿元,对应合理市值3000亿至4500亿元。 考虑到折现因素,即使在最乐观的情况下,公司目前的股价仍然存在约25%的回撤

    来源 AI 行业观察
  17. 曾妍的新论文,就是字节 “10万亿”路线图

    95后的曾妍,正在快速晋升。 曾妍于1997年出生,2021年以校招的方式进入字节,后来成为了Seedance的预训练负责人。字母AI在文章《字节的“罗福莉”,撑起了Seedance的半边天》中曾对她进行过详细报道。 如今有传言称,曾妍的头衔已经上升为Seedance核心负责人。早在今年3月时,曾妍的职级还是3-2,而

    来源 AI 行业观察
  18. MJev-Spatial:AI答空间问题不再逐字生成,直接“选”出答案

    你有没有想过一个很怪的问题:当你问AI"杯子在桌子的左边还是右边",它为什么要洋洋洒洒打出一整句话"根据图片观察,杯子位于桌子的左侧",而不是直接告诉你"左"这一个字?这不是矫情,这是现在所有视觉语言模型的通病。一、一个被忽略的效率黑洞先说个可能颠覆你认知的事实:现在主流的AI视觉模型回答"左还是右""距离多少...

    来源 腾讯网
向下滚动自动加载更多