Récemment, le modèle de génération de vidéos basé sur le flux Goku, développé en collaboration entre l'Université de Hong Kong et ByteDance, a été officiellement lancé. Ce modèle utilise des algorithmes de génération avancés pour créer du contenu vidéo de haute qualité à partir d'invites textuelles, enrichissant considérablement les formes d'expression de l'art numérique.
Pour démontrer les puissantes capacités du modèle Goku, l'équipe de recherche a produit une série d'exemples vidéo exceptionnels. Ces exemples mettent non seulement en lumière les capacités techniques du modèle, mais aussi son potentiel créatif illimité.
Le modèle Goku se caractérise par sa vitesse de génération et sa qualité d'image élevées. Entraîné sur un vaste ensemble de données, Goku peut générer des scènes variées, incluant des animations, des paysages naturels et des comportements animaux. Les chercheurs ont utilisé les invites MovieGenBench originales pour les tests, garantissant ainsi la cohérence et l'équité des résultats.
Par exemple, une vidéo montre une femme élégante se promenant avec assurance dans les rues de Tokyo. Les néons multicolores de la ville illuminent la nuit chaleureuse, tandis que les passants animent la scène, créant une ambiance réaliste et vivante.
Une autre vidéo présente plusieurs mammouths géants se déplaçant paisiblement dans la neige. L'environnement montagneux et forestier enneigé plonge le spectateur au cœur d'un monde glacial. Ces scènes captivantes stimulent non seulement l'imagination du public, mais offrent également une source d'inspiration inépuisable aux artistes.
Plus impressionnant encore, Goku permet de générer directement des vidéos de personnages numériques virtuels. Goku+ convertit du texte en vidéos humaines surréalistes, surpassant nettement les méthodes existantes. Il peut notamment générer des vidéos de plus de 20 secondes, caractérisées par des mouvements de mains fluides et des expressions faciales et corporelles très expressives.
Il prend également en charge la génération de vidéos d'interaction produit-personne à partir d'images de produits, en préservant le style du produit et en générant des vidéos de présentation de produits, ainsi que la création de vidéos publicitaires à partir de texte.
Comme illustré ci-dessous : Goku+ transforme les images de produits en séquences vidéo captivantes, garantissant une optimisation de bout en bout. Ce processus améliore l'attrait et l'efficacité de vos supports marketing.
Comme illustré ci-dessous : création de vidéos réalistes et attrayantes mettant en valeur un produit spécifique. Ces vidéos capturent efficacement l'essence du produit, augmentant l'engagement et l'intérêt des spectateurs.
De plus, le modèle permet de créer des vidéos haute définition personnalisées à partir de texte pour optimiser les scénarios publicitaires, surpassant nettement les modèles vidéo de base de la concurrence.
Accès au projet : https://saiyan-world.github.io/goku/
Points clés :
🌟 Le modèle Goku, développé en collaboration entre l'Université de Hong Kong et ByteDance, génère du contenu vidéo de haute qualité à partir d'invites textuelles.
🎨 Le modèle présente diverses scènes, telles qu'une femme élégante se promenant dans les rues de Tokyo et des mammouths géants marchant dans la neige, avec des résultats réalistes et dynamiques.
💡 Le lancement du modèle Goku offre un nouvel outil pour la création artistique visuelle, permettant aux créateurs d'explorer de nouvelles possibilités.
