Récemment, le développeur scraed a publié sur GitHub LanPaint, un outil de réparation d'images ne nécessitant aucun entraînement supplémentaire. Cet outil vise à aider les utilisateurs à obtenir des résultats de réparation d'images de haute qualité sur n'importe quel modèle de diffusion stable (SD), y compris les modèles personnalisés entraînés par l'utilisateur. LanPaint permet au modèle de « réfléchir » avant le débruitage par itérations multiples, afin d'obtenir des résultats de réparation plus fluides et précis. L'une des principales caractéristiques de LanPaint est la réparation sans entraînement. Les utilisateurs peuvent immédiatement...

DiffRhythm est une nouvelle technologie d'IA qui permet de créer des morceaux de musique complets, avec accompagnement vocal, en seulement 10 secondes. Il suffit d'une simple idée pour générer une composition professionnelle. Révolutionnez votre processus de création musicale !

Dans le domaine de l'intelligence artificielle, une technologie révolutionnaire est en train d'émerger. Inception Labs a récemment annoncé le lancement de sa série de grands modèles linguistiques de diffusion (dLLM) Mercury, une nouvelle génération de modèles linguistiques conçus pour générer rapidement et efficacement des textes de haute qualité. Comparés aux grands modèles linguistiques autorégressifs traditionnels, les modèles Mercury sont jusqu'à 10 fois plus rapides, atteignant des vitesses supérieures à 1000 jetons par seconde sur une carte graphique NVIDIA H100, une vitesse qui...

Lors d'une récente conférence téléphonique sur les résultats financiers, le fondateur de Baidu, Li Yanhong, a analysé en profondeur la décision d'open source de la série de modèles linguistiques massifs Wenxin 4.5. Il a déclaré qu'à partir de son projet DeepSeek développé en interne, Baidu a compris que les meilleurs modèles open source stimuleraient considérablement l'utilisation et l'adoption par les utilisateurs. Lorsqu'un modèle puissant est open source, il attire naturellement plus de personnes qui souhaitent l'essayer par curiosité, ce qui favorise non seulement la diffusion de la technologie, mais aussi des applications plus larges. Li Yanhong a souligné que le modèle linguistique massif Wenxin 4.5 serait le modèle de Baidu à ce jour...

Récemment, les équipes de recherche de Meta Reality Labs ont publié un modèle génératif innovant appelé « Pippo », capable de générer une vidéo dense de haute résolution (jusqu'à 1 K) à partir d'une seule photo prise de manière aléatoire. Cette avancée technologique marque une étape importante dans le domaine de la vision par ordinateur et de la génération d'images. Au cœur du modèle Pippo se trouve la conception de son transformateur de diffusion multi-vues. Contrairement aux modèles génératifs traditionnels, Pippo ne nécessite aucun autre input, tel que des paramètres ajustés.

Ces dernières années, les progrès des techniques de rééclairage d'image ont bénéficié de l'utilisation d'ensembles de données à grande échelle et de modèles de diffusion pré-entraînés, rendant l'application d'un éclairage cohérent plus courante. Cependant, dans le domaine du rééclairage vidéo, les progrès ont été relativement lents en raison des coûts d'entraînement élevés et du manque de données de rééclairage vidéo diversifiées et de haute qualité. L'application simple de modèles de rééclairage d'image image par image à la vidéo entraîne plusieurs problèmes, tels que l'incohérence des sources lumineuses et de l'apparence du rééclairage, conduisant finalement à un scintillement dans la vidéo générée. Pour résoudre ce problème, l'équipe de recherche a proposé Light-A

Meta a récemment publié un nouveau cadre de politique de risque visant à évaluer et à atténuer les risques liés aux modèles d'IA de pointe, et à arrêter ou limiter le déploiement de ces systèmes si nécessaire. Ce cadre, intitulé « Cadre IA de pointe », détaille comment Meta classera les modèles d'IA en deux catégories : à haut risque et à risque critique, et prendra des mesures en conséquence pour réduire les risques à un « niveau acceptable ». Dans ce cadre, un risque critique est défini comme une capacité à contribuer de manière unique à la réalisation de scénarios de menaces spécifiques. Un risque élevé signifie...

Récemment, Yuanxiang Information Technology Co., Ltd. de Shenzhen a officiellement lancé sa plateforme de pointe de personnages numériques intelligents, « Yuanxiang Daily Broadcast », offrant une solution nouvelle pour la présentation de marques et la production de contenu. Grâce à ses capacités de personnalisation hautement naturelles, à ses fonctionnalités d'interaction en temps réel et à sa simplicité d'utilisation avec une mise en ligne en un clic, la plateforme a rapidement attiré l'attention de nombreux secteurs.

Une équipe de chercheurs de l'Université de New York, du MIT et de Google a récemment proposé un cadre innovant pour résoudre les problèmes d'extrapolation du temps d'inférence dans les modèles de diffusion. Cette recherche révolutionnaire va au-delà des méthodes traditionnelles consistant simplement à augmenter le nombre d'étapes de débruitement, ouvrant ainsi de nouvelles voies pour améliorer les performances des modèles génératifs. Ce cadre repose principalement sur deux dimensions : l'utilisation d'un validateur pour fournir des commentaires et la mise en œuvre d'un algorithme pour trouver de meilleurs candidats de bruit. L'équipe de recherche a utilisé un modèle SiT-XL pré-entraîné à une résolution de 256×256 comme base, en maintenant 250 étapes de débruitement fixes

Dans le domaine du développement de jeux, la diversité et l'innovation des scènes constituent un défi permanent. Récemment, l'Université de Hong Kong et Kuaishou Technology ont collaboré pour développer un framework innovant appelé GameFactory, visant à résoudre le problème de la généralisation de scène dans la génération de vidéos de jeux. Ce framework utilise un modèle de diffusion vidéo pré-entraîné, capable de s'entraîner sur des données vidéo en domaine ouvert, afin de générer des scènes de jeu nouvelles et diversifiées. Les modèles de diffusion vidéo, en tant que technologie de génération avancée, ont démontré un potentiel énorme ces dernières années dans les domaines de la génération vidéo et de la simulation physique. Ces modèles...

Les chercheurs de Microsoft ont présenté MatterGen, un puissant système d'intelligence artificielle capable de générer de nouveaux matériaux aux propriétés spécifiques, ce qui pourrait accélérer le développement de technologies clés telles que les batteries et les panneaux solaires. Le lancement de MatterGen marque un changement radical dans la façon dont les scientifiques découvrent de nouveaux matériaux. Contrairement aux méthodes traditionnelles qui consistent à filtrer des millions de composés existants, MatterGen génère directement de nouveaux matériaux en fonction des propriétés souhaitées, de manière similaire à la façon dont les générateurs d'images IA créent des images à partir de descriptions textuelles.

Récemment, une méthode d'ombrage de dessins au trait appelée MangaNinja a suscité un vif intérêt. Il suffit d'entrer un dessin au trait et une image de référence pour colorier le dessin au trait en fonction de l'image de référence. Cette technique, basée sur un modèle de diffusion, se concentre sur l'ombrage de dessins au trait guidé par une image de référence, améliorant considérablement la précision et le contrôle interactif de l'ombrage. L'équipe de recherche a mis en œuvre deux conceptions innovantes pour garantir une transmission précise des détails des personnages. Premièrement, ils ont introduit un module de réarrangement de patchs pour favoriser l'apprentissage de la correspondance entre l'image couleur de référence et le dessin au trait cible. Deuxièmement, ils ont adopté une approche pilotée par points

Lors du sommet annuel 2024 de YY, YY Live a officiellement lancé "Ling'er", son premier avatar numérique IA au service des animateurs, marquant l'aboutissement de 24 années d'application de la technologie IA chez YY Live. "Ling'er" représente une innovation exploratoire dans le domaine de l'intelligence artificielle pour YY Live, visant à améliorer l'interaction en direct et l'expérience utilisateur. Selon un responsable de YY Live, "Ling'er" est encore en phase de test public, mais couvre déjà plus de 6000 salles de diffusion et sert en moyenne plus d'un million d'utilisateurs par jour. Fin 2024, ...

La version officielle de l'outil AIGC "Jichuang" de l'écosystème du moteur géant est lancée. Il prend en charge plusieurs formats de contenu tels que la génération de scripts IA, la création intelligente de vidéos, les avatars numériques et les cartes de produits. Il intègre également de nouvelles fonctionnalités telles que la diffusion virale de produits phares et la validation en un clic. Selon les informations disponibles, la plateforme "Jichuang" utilise l'apprentissage profond et le traitement du langage naturel. Les utilisateurs n'ont qu'à saisir un thème, et le système génère en temps réel du contenu textuel et vidéo de haute qualité. La technologie de création intelligente de vidéos permet de transformer un script en vidéo en un clic et de générer des avatars numériques pour une meilleure interactivité. Cette nouvelle création...

À l'ère du développement rapide des médias numériques, l'amélioration et la restauration de la qualité vidéo sont devenues un sujet d'intérêt majeur. La popularisation de la création de contenu vidéo a entraîné une demande croissante en termes de qualité vidéo. Cependant, de nombreuses vidéos sont souvent affectées par divers facteurs lors de leur création ou de leur transmission, ce qui entraîne des problèmes de flou et de manque de détails. Pour résoudre ce problème, une équipe de recherche de l'Université technologique de Nanyang et de ByteDance a récemment lancé une technologie de restauration vidéo innovante appelée SeedVR. SeedVR utilise un transformateur de diffusion (Dif...)

Pendant longtemps, la génération efficace de scènes 3D de haute qualité et à large champ de vision à partir d'une seule image a constitué un défi de taille pour les chercheurs. Les méthodes traditionnelles reposent souvent sur des données multi-vues, ou nécessitent une optimisation longue et fastidieuse scène par scène, et présentent des lacunes en termes de qualité de l'arrière-plan et de reconstruction des zones non visibles. Les technologies existantes, lorsqu'elles traitent la génération de scènes 3D à partir d'une seule vue, souffrent souvent d'un manque d'informations, entraînant des erreurs ou des distorsions dans les zones occultées, un arrière-plan flou et des difficultés à inférer la structure géométrique des zones non visibles. Bien que les modèles basés sur la régression permettent une synthèse de nouvelles perspectives de manière directe, ils rencontrent des difficultés lorsqu'ils traitent des scènes complexes...

ByteDance a récemment publié LatentSync, un nouveau framework de synchronisation labiale visant à obtenir une synchronisation plus précise des lèvres grâce à un modèle de diffusion latent conditionnel à l'audio. Ce framework, basé sur Stable Diffusion, a été optimisé pour la cohérence temporelle. Contrairement aux méthodes précédentes basées sur la diffusion dans l'espace pixel ou la génération en deux étapes, LatentSync utilise une approche de bout en bout, sans représentation intermédiaire du mouvement, permettant de modéliser directement la relation complexe entre l'audio et la vidéo. Dans LatentSync,

L'équipe de recherche de l'Institut de recherche DAMO d'Alibaba a récemment publié une avancée majeure : « SHMT : Transfert de maquillage hiérarchique autosupervisé ». Cet article a été accepté par NeurIPS 2024, une conférence académique de premier plan. Cette recherche présente une nouvelle technique de transfert d'effets de maquillage utilisant des modèles de diffusion latente (Latent Diffusion Models) pour générer des images de maquillage précises, insufflant une nouvelle dynamique aux applications de maquillage et au traitement d'images. En termes simples, SHMT est une technologie de transfert de maquillage qui...

Dans le domaine de l'intelligence artificielle, le dernier modèle Infinity, issu de l'équipe technique de ByteDance, s'impose comme le nouveau leader de la génération d'images à partir de texte autorégressive grâce à ses performances exceptionnelles et à son innovation technologique. Ce nouveau modèle open source surpasse non seulement Stable Diffusion 3 en termes de qualité de génération d'images, mais présente également un avantage significatif en termes de vitesse d'inférence. L'innovation principale du modèle Infinity réside dans l'adoption d'un framework autorégressif Bitwise Token, qui prédit la résolution de niveau suivant en constituant un +1 ou un -1.

Dans le domaine de la génération d'images à partir de texte, les modèles de diffusion ont démontré des capacités exceptionnelles, mais présentent encore certaines lacunes en matière de génération d'images esthétiques. Récemment, une équipe de recherche de ByteDance et de l'Université des sciences et technologies de Chine a proposé une nouvelle technologie appelée adaptateur « Cross-Attention Value Mixing Control » (VMix), visant à améliorer la qualité des images générées tout en conservant une généralité pour divers concepts visuels. L'idée principale de l'adaptateur VMix réside dans la conception d'un contrôle conditionnel supérieur…