Récemment, une technologie innovante nommée LHM (Large-scale Human Mesh Model, ou Modèle de Maillage Humain à Grande Échelle) a réalisé une percée majeure dans le domaine de la reconstruction 3D du corps humain, ouvrant de nouvelles perspectives et applications.
La reconstruction 3D animée du corps humain à partir d'une seule image a toujours été une tâche extrêmement difficile, présentant des ambiguïtés géométriques, d'apparence et de déformation. Les dernières avancées de la recherche se concentrent principalement sur la modélisation statique du corps humain, et ces méthodes reposent souvent sur des scans 3D synthétiques pour l'entraînement, ce qui limite considérablement leurs capacités de généralisation en situations réelles. De plus, les méthodes vidéo basées sur l'optimisation nécessitent un contrôle strict des conditions de capture et sont extrêmement gourmandes en calcul, ce qui les rend difficiles à mettre en œuvre dans des applications pratiques.
Pour répondre à ces défis, le modèle LHM a été développé. Ce modèle utilise de manière innovante une architecture de transformateur multimodale qui, grâce à un puissant mécanisme d'attention, code efficacement les caractéristiques de position du corps et les caractéristiques de l'image. Cette architecture permet à LHM non seulement de reconstruire avec précision la géométrie du corps humain, mais aussi de préserver en détail la géométrie et la texture des vêtements, offrant ainsi aux utilisateurs un modèle 3D du corps humain plus réaliste et détaillé.
Il est important de noter que LHM propose également un schéma d'encodage de pyramide de caractéristiques de la tête. Ce schéma, en agrégeant les caractéristiques multi-échelles de la zone de la tête, améliore encore la capacité du modèle à capturer les détails de la tête, rendant la représentation de la tête dans le modèle 3D du corps humain plus réaliste. En pratique, LHM a démontré une efficacité étonnante, capable de générer un corps humain animé de manière raisonnable en quelques secondes seulement, sans nécessiter de post-traitement complexe, ce qui permet de gagner un temps et des ressources considérables.
De nombreuses expériences ont démontré que LHM surpasse les méthodes existantes en termes de précision de reconstruction et de capacité de généralisation. Que ce soit dans des scénarios complexes ou sous différentes conditions d'éclairage, LHM produit de manière stable des résultats de reconstruction 3D de haute qualité.