同步双视角
同一场景里第一人称与多路第三人称画面时间同步,可跨视角对照同一动作的细节。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Ego-Exo4D 是一个多视角多模态视频数据集,聚焦烹饪、攀岩、足球等技能型活动。与 Ego4D 收集的无脚本日常生活不同,它让不同技能水平的参与者在同一场景中表演同一套动作,并首次把同步的第一人称(egocentric)与多路第三人称(exocentric)视角配对采集,其为目前规模最大、最多样的 ego-exo 多视角数据集。第一人称画面由 Aria Project 设备拍摄,可用于关键步骤识别与技能评估等任务。未公开数据规模、许可条款与获取费用。
Ego-Exo4D 是一个面向机器感知研究的多模态多视角视频数据集,同时包含第一人称(egocentric)和多个第三人称(exocentric)视角,且两者时间同步。它由参与该项目的团队构建,面向需要观察人类技能动作的计算机视觉与机器人学习研究者。
数据集的重点是技能型活动,涵盖程序性技能与身体技能两类。与 Ego4D 收集无脚本日常生活不同,Ego-Exo4D 让不同技能水平的参与者重复表演同一场景,场景本身的分工与流程保持自然,这样同一动作就产生了多水平、多视角的对照记录。
第一人称画面使用 Aria Project 设备采集。由于同一场景既有第一人称也有多路第三人称且相互同步,它适合做关键步骤识别、技能评估这类需要跨视角比对的任务;研究者可直接基于这套配对数据训练和评测模型,而无需自行搭建多机位采集流程。
同一场景里第一人称与多路第三人称画面时间同步,可跨视角对照同一动作的细节。
只采集烹饪、攀岩、足球等技能型活动,覆盖程序性技能与身体技能两类。
不同技能水平的参与者表演同一场景,便于做技能评估与水平对比。
第一人称视角使用 Aria Project 设备拍摄,画面与多路第三人称机位配对。
同一场景被重复记录且视角固定,适合训练关键步骤识别一类的时序模型。
当你的研究需要同一动作的同步第一人称与第三人称画面时,这套数据集是少有的现成来源;做关键步骤识别、技能评估或多视角对齐的团队可以直接拿来训练与评测,省掉自建多机位采集的成本。但它只覆盖技能型活动,日常无脚本行为不在范围内,想复现 Ego4D 那类日常生活研究要另找数据。官网未公开数据规模、许可条款与获取费用,正式立项前需要先在官网确认这三项。
需要同步的第一人称与第三人称画面做跨视角建模,这套数据直接可用。
同一场景有不同技能水平的重复记录,适合训练动作质量或步骤完成度模型。
第一人称视角来自 Aria 设备,接近可穿戴机位,适合做操作类模仿学习。
数据只覆盖技能型活动,Ego4D 那类无脚本日常不在范围内,需要另找来源。
Ego4D 收集的是无脚本日常生活活动;Ego-Exo4D 聚焦技能型活动,让不同技能水平的参与者表演同一场景,并且是同步的第一人称加多路第三人称多视角数据。Ego4D 里虽然也有烹饪、攀岩、足球的例子,但彼此不相交、不重复同一场景,无法用于关键步骤识别或技能评估这类任务。
面向需要观察人类技能动作的任务,例如关键步骤识别与技能评估。因为同一场景有第一人称和多个第三人称视角且相互同步,也适合做跨视角对齐、视角检索这类多视角建模研究。
第一人称(egocentric)视角使用 Aria Project 设备采集,并与多路第三人称视角配对同步。
官网说明聚焦技能型活动,涵盖程序性技能与身体技能两类,并提到烹饪、攀岩、足球等例子。具体完整的活动清单官网未公开。