Ego-Exo4D ist ein multimodales, multiperspektivisches Video-Dataset und eine Benchmark-Challenge, die sich auf die Erfassung von egogentrischen und exogentrischen Videos von gekonnten menschlichen Aktivitäten konzentriert. Es unterstützt die Forschung zur multimodalen maschinellen Wahrnehmung von Aktivitäten im täglichen Leben. Das Dataset wurde von 839 Freiwilligen mit Kameras in 13 Städten weltweit gesammelt und umfasst 1422 Stunden an Videos von gekonnten menschlichen Aktivitäten. Dem Video-Material sind drei Arten von natürlichsprachigen Datensätzen zugeordnet: Expertenkommentare, vom Teilnehmer bereitgestellte Anleitungen im Tutorial-Stil und einzeilige Beschreibungen atomarer Aktionen. Ego-Exo4D erfasst auch multiperspektivische und multisensorielle Modalitäten, darunter mehrere Perspektiven, sieben Mikrofon-Arrays, zwei IMUs, einen Barometer und einen Magnetometer. Bei der Datenerfassung wurden strenge Datenschutz- und Ethikrichtlinien sowie die formale Zustimmung der Teilnehmer eingehalten. Weitere Informationen finden Sie auf der offiziellen Website.