Le 14 février 2025, le groupe Kunlun Wanwei a officiellement lancé le modèle mondial Matrix-Zero, marquant une étape importante pour la Chine dans le domaine de l'intelligence spatiale. Matrix-Zero comprend deux sous-modèles : un grand modèle de génération de scènes 3D et un grand modèle de génération de vidéos interactives. Son objectif est de révolutionner la création de contenu numérique grâce à l'IA et de stimuler l'innovation dans les secteurs de la production cinématographique, du développement de jeux vidéo et de l'intelligence incarnée.
Le grand modèle de génération de scènes 3D de Matrix-Zero permet de transformer les images saisies par l'utilisateur en scènes 3D réalistes et librement explorables. Il prend en charge les images de styles variés et le transfert de style, et possède une capacité de génération de scènes dynamiques. Ce modèle, grâce à ses modules de génération de disposition de scène et de génération de textures, combinés aux techniques de rendu différentiable et de modèles de diffusion, garantit la cohérence globale et le réalisme dynamique des scènes 3D générées. Il offre ainsi une solution efficace pour la modélisation 3D de jeux vidéo et la création de scénarios de simulation pour l'intelligence incarnée. Par exemple, en entrant une image d'un « coin de jardin d'un château », le modèle peut générer une scène 3D à 360 degrés dont l'arrière-plan reste inchangé, permettant à l'utilisateur une exploration libre sur de longues distances et de vastes zones.
Parallèlement, le grand modèle de génération de vidéos interactives de Matrix-Zero est piloté par les entrées de l'utilisateur. Il combine des modèles vidéo génératifs de pointe et un module d'interaction utilisateur développé en interne, permettant un contrôle précis du déplacement de la caméra dans le contenu vidéo. L'utilisateur peut contrôler l'angle de vue et la trajectoire de mouvement dans la vidéo via le clavier ou la souris, effectuant des déplacements avant, arrière, gauche et droite, ainsi que des changements de perspective. Ce modèle comprend des modules de contrôle de mouvement discret, de contrôle de perspective continu, de suivi de position de scène 3D et un mécanisme de fenêtre glissante, garantissant la fluidité et la cohérence de l'expérience interactive.
Kunlun Wanwei, entreprise leader de l'IA en Chine, s'engage à réaliser une intelligence artificielle générale et développe constamment de nouveaux produits IA grâce à la recherche et au développement indépendants. Le lancement de Matrix-Zero représente non seulement une percée majeure de l'entreprise dans le domaine de l'intelligence spatiale, mais aussi un complément important à sa matrice d'activités IA. Au cours des trois dernières années, Kunlun Wanwei a obtenu des résultats remarquables dans des domaines technologiques clés tels que la multimodalité visuelle et l'apprentissage profond, et a construit une matrice IA complète comprenant notamment la recherche IA TianGong, la plateforme de création musicale Mureka et la plateforme de courts métrages SkyReels.
Matrix-Zero devrait être officiellement lancé en avril. Il apportera alors un nouvel élan aux activités de production de jeux vidéo IA et de création de courts métrages IA de Kunlun Wanwei, offrant aux utilisateurs et aux développeurs de nouvelles plateformes et de nouveaux outils.
