Ego-Exo4D es un conjunto de datos de vídeo multimodal y multiperspectiva, y un desafío de referencia, centrado en la captura de vídeos egocéntricos y exocéntricos de actividades humanas hábiles. Facilita la investigación de la percepción multimodal de máquinas en actividades de la vida diaria. Recopilado por 839 voluntarios con cámaras en 13 ciudades de todo el mundo, el conjunto de datos incluye 1422 horas de vídeo de actividades humanas hábiles. Se proporcionan tres conjuntos de datos de lenguaje natural emparejados con los vídeos: reseñas de expertos, narraciones tipo tutorial proporcionadas por los participantes y descripciones de acciones atómicas de una sola frase. Ego-Exo4D también captura múltiples perspectivas y modalidades perceptivas, incluyendo múltiples puntos de vista, una matriz de siete micrófonos, dos IMUs, un barómetro y un magnetómetro. La recopilación de datos se realizó respetando estrictamente las políticas de privacidad y ética, con el consentimiento informado de los participantes. Para más información, visite el sitio web oficial.