世界模型杀入摄影圈:AI帮你换个机位重拍一张
为了凑齐朋友圈的九宫格,一生爱出片的中国人不断添置设备、研究机位,有时还要搭上旅行的好心情。 与此同时,顶尖的科学家和资本正砸下几十亿美金,试图用“世界模型”教AI理解物理世界。 看似风马牛不相及的两件事,或许很快就要在同一个取景框里迎头相遇。 #01 世界模型,开始研究出片 一张照片拍完,还能换个机位吗?李飞飞创办的
中国人为了朋友圈凑够九张图,不断买装备、琢磨机位,有时连旅途中的好心情都搭进去。
另一边,顶尖科学家和资本掏出几十亿美金,想让AI靠“世界模型”看懂物理世界。
这两件看着八竿子打不着的事,没准很快会在同一个取景框里撞上。
#01
世界模型,开始琢磨怎么“出片”
一张照片拍完后,还能换个机位重来吗?李飞飞创立的WorldLabs,就在其世界模型Atlas里演示了这种可能。
给一张或多张参考图像,再定好相机的位置与角度,模型便能生成新的画面。虚拟相机可以被抬高、挪到侧面,去拍当时没拍到的视角。原始素材没记录下来的部分,由模型去推测、补全。
目前WorldLabs已通过网页应用和开发者接口开放Atlas,影视与视效是它列出的应用方向之一。一张照片不再只是一次拍摄的句号,也可以变成尝试无数可能的起点。
消费级影像厂商影石也抛出了Cameraman的长期愿景,要让设备像摄影师那样自己构图、抓住瞬间。
按这套设想,理解场景和用户意图、生成拍摄策略的活儿交给AI,镜头负责获取环境信息,机器人、无人机及云台则完成移动与镜头控制。用户只管提需求,找角度、执行拍摄更多由设备承担。
影石为此布局的技术方向之一就是世界模型,DiT360、PanoWorld和PanoLOG分别切入全景图像生成、相机运动下的画面变化预测和大场景三维空间表示,帮设备理解世界,为轨迹规划与主动创作打底。
一个在虚拟空间里调整照片视角,一个想让真实设备自己拍。两家公司方向不同,探的都是世界模型在“出片”上的用法。
拍照这件事很日常,可按快门之前的判断并不简单,牵扯到空间几何、光影变化、人物动线和机位取舍。看似生活化的“出片”难题,考的其实是机器对真实世界的空间理解与预测本事。
#02
世界模型,各有各的世界
大语言模型靠概率预测“下一个词”,世界模型不一样,它想建立对环境的内部表示,并预测环境会随时间或行动怎样变化。
光速创投合伙人安托万·莫伊鲁说过:“人人都同意世界模型很重要,但几乎没人能就它们究竟是什么达成一致。”
如今挂着世界模型名头的,已经分出好几个不太一样的世界。
谷歌的Genie系列偏重生成可交互的虚拟环境,使用者一改行动或观察方向,模型就持续生成对应画面;李飞飞的WorldLabs则更看重三维空间的生成与重建。
杨立昆创办的AMI走的是另一条路,主张在抽象表征中预测变化,抓住对行动有用的信息,不必把未来的每个像素都画出来。按这条路线,把世界画得逼真,和理解世界怎么运转,是两码事。
英伟达的Cosmos等模型…工具则盯着机器人和自动驾驶,提供世界生成、预测与合成数据能力,直接服务于工业训练和测试。
统一解法还没出现,资本已经为不同路线掏了真金白银。今年AMI拿到10.3亿美元种子轮融资;11月,AMD宣布完成对WorldLabs约82亿美元的收购。
这些天价投入对应的目标往往很大:教机器人进厂装配,让汽车应付复杂交通,或者搭建能持续探索的虚拟世界。
可眼下,技术本身还处在路线没收敛、商业化早期攻坚的阶段。空间一致性、物理因果预测,以及从仿真走向现实这几道难题,都还得逐项突破。
跟这些高风险、长周期的硬核场景比,帮普通人拍好一张照片在宏大叙事面前显得格外日常。但也正因为大众消费级“出片”容错率高、反馈周期短、付费需求明确,它反倒可能成为世界模型率先跑通商业验证的务实入口。
#03
世界模型会怎么改变摄影?
旅拍、陪拍这些服务,加上紧凑型卡片机、全景相机和口袋云台,卖的都是同一件事——把拍摄门槛降下来、把成片率提上去。消费者一直愿意为这个掏钱。
现有影像工具留下的调整空间,正是世界模型想去补的那块。拿常见的“先拍照、后取景”来说,裁切能改构图,全景照片里也能挑不同朝向的画面,可拍摄位置是定死的。想躲开前景遮挡,或者让人物和远山的相对位置变一变,多半得把设备搬到现场挪动。
世界模型能从已有图像生成另一个机位的画面,构图调整就不再被原来的拍摄位置卡住。对自主摄影设备来说,这类预测还能提前比对不同视角,再规划怎么移动、怎么拍。不过,真要替普通人做到“无痛出片”,还有几道坎。
头一道是成本与效率。生成新视角要烧多少算力、等多久、花多少钱,决定了它是偶尔尝鲜的新奇体验,还是能天天用的工具。落到自主摄影硬件上,续航、避障,以及带出门和架设的麻烦也得算进去。
换个机位要等半天,还得再付一笔生成费,消费者大概会觉得,招呼身边人“往左挪两步”依然是性价比很高的办法。
更关键的是,拍照从来不只是一道三维几何题。高赞样本能教AI学会常见构图,却未必说得清眼前这个人偏爱哪个角度、在意什么表情。摄影师在沟通和试拍里攒下的判断,恐怕比一套“网红打卡公式”更难直接“蒸馏”。
技术演进的方向,常常和最初的设想对不上。当年NASA喷气推进实验室发明CMOS图像传感器,盯的是深空里的行星探测;几十年过去,它最大的舞台不在外太空,而在普通人天天举起的手机镜头里。
世界模型还在为通用机器人和自动驾驶慢慢蓄力,帮人“出片”这件看似不起眼的小事,倒有可能成为它最先落地的窗口。