Ego-Exo4D est un ensemble de données vidéo multimodale et multi-vues, ainsi qu'un défi de référence, axé sur la capture de vidéos égocentriques et exocentriques d'activités humaines habiles. Il soutient la recherche en perception machine multimodale des activités de la vie quotidienne. Cet ensemble de données a été collecté auprès de 839 volontaires équipés de caméras dans 13 villes du monde entier, capturant 1422 heures de vidéos d'activités humaines habiles. Il fournit trois ensembles de données de langage naturel appariés aux vidéos : des commentaires d'experts, des narrations de type tutoriel fournies par les participants et des descriptions d'actions atomiques en une phrase. Ego-Exo4D capture également des vues multiples et de multiples modalités perceptives, notamment plusieurs points de vue, sept réseaux de microphones, deux IMU, un baromètre et un magnétomètre. La collecte de données a été réalisée dans le strict respect des politiques de confidentialité et d'éthique, avec le consentement éclairé des participants. Pour plus d'informations, veuillez consulter le site web officiel.