Ego-Exo4Dは、スキルのある人間の行動を捉えた自己中心視点と外部中心視点のビデオを中心とした、マルチモーダル多視点ビデオデータセットとベンチマークチャレンジです。日常生活における活動のマルチモーダルな機械知覚研究を支援します。このデータセットは、世界13都市の839名のカメラ装着ボランティアによって収集され、1422時間のスキルのある人間の行動ビデオを収録しています。対応するビデオと共に、専門家の解説、参加者によるチュートリアル形式の解説、1文の原子動作記述という3種類の自然言語データセットを提供しています。Ego-Exo4Dは、複数の視点、7つのマイクアレイ、2つのIMU、気圧計、磁力計など、多視点と多様なセンシングモダリティも捉えています。データセットの記録は、プライバシーと倫理ポリシーを厳守し、参加者の正式な同意を得ています。詳細については、公式サイトをご覧ください。