Beijing Zhihu Zhang Technology Co., Ltd. a annoncé le lancement de CogView4, le premier modèle open source de génération d'images à partir de texte capable de générer des caractères chinois. Ce modèle a obtenu le meilleur score global au benchmark DPG-Bench, devenant ainsi le modèle SOTA (State of the Art) des modèles open source de génération d'images. Il est distribué sous licence Apache 2.0, ce qui en fait le premier modèle de génération d'images à suivre cette licence.

La technologie de génération d'images par IA connaît un développement fulgurant, mais la taille des modèles augmente, augmentant ainsi les coûts de formation et d'utilisation pour les utilisateurs ordinaires. Aujourd'hui, un nouveau framework texte-image appelé "Sana" fait son apparition. Il permet de générer efficacement des images ultra-haute définition jusqu'à 4096×4096 pixels, à une vitesse étonnante, et cela même sur le GPU d'un ordinateur portable. La conception principale de Sana comprend : un auto-encodeur à compression profonde : contrairement aux auto-encodeurs traditionnels qui ne compressent les images que 8 fois, celui de Sana...

L'IA commence-t-elle à développer un "cerveau" ?! Une nouvelle étude du Massachusetts Institute of Technology (MIT) révèle que la structure interne des grands modèles de langage (LLM) présente des similitudes étonnantes avec le cerveau humain ! Cette recherche, utilisant la technique de l'auto-encodeur parcimonieux, a permis une analyse approfondie de l'espace d'activation des LLM, révélant trois niveaux de caractéristiques structurelles, particulièrement impressionnants : premièrement, au niveau microscopique, les chercheurs ont découvert l'existence de structures similaires à des "cristaux". Les faces de ces "cristaux" sont constituées de parallélogrammes ou de trapèzes, semblables aux analogies lexicales que nous connaissons, par exemple "homme :

Le modèle de génération de vidéo open source CogVideoX-5B, de fabrication chinoise, est officiellement disponible sur la communauté ModelScope de Modèles. Il améliore considérablement la qualité et les effets visuels de la génération de vidéos. Basé sur le modèle DiT à grande échelle, il utilise un autoencodeur variationnel causal 3D, une technique de transformateur expert, et un encodage de position 3D-RoPE et un mécanisme d'attention 3D complet pour réaliser une modélisation conjointe spatio-temporelle. L'utilisation de la technique d'entraînement progressif permet au modèle de générer des vidéos longues, cohérentes et de haute qualité avec des caractéristiques de mouvement évidentes.

智谱AI a annoncé la publication en open source de son modèle de génération de vidéos CogVideoX, visant à accélérer le développement et l'application de la technologie de génération de vidéos. CogVideoX, basé sur une technologie de modèle large avancée, répond aux besoins des applications commerciales. La version CogVideoX-2B actuellement open source nécessite seulement 18 Go de mémoire vidéo pour l'inférence en précision FP-16 et 40 Go pour le réglage fin, permettant l'inférence sur une seule carte graphique 4090 et le réglage fin sur une seule carte graphique A6000.

Des scientifiques de l'Université des sciences et technologies de Shanghai ont développé CLAY, un modèle d'IA capable de générer des objets 3D détaillés à partir de texte ou d'images 2D, surpassant les technologies précédentes en termes de qualité, de diversité et de vitesse de génération. Au cœur de CLAY se trouvent un autoencodeur variationnel multi-résolution et un transformateur de diffusion, capables de traiter directement le contenu 3D sans conversion. Entraîné sur plus de 500 000 modèles 3D, CLAY peut générer des objets allant d'objets du quotidien à des organismes complexes, et permet un contrôle précis grâce à des entrées supplémentaires, permettant de générer des scènes urbaines et de reconstruire des modèles 3D à partir d'esquisses. En comparaison avec Shap-E, D…

Récemment, la recherche et les applications des grands modèles multimodaux ont fait des progrès remarquables. Des entreprises étrangères telles qu'OpenAI, Google et Microsoft ont lancé une série de modèles avancés, et des institutions chinoises telles que Zhipu AI et Jieyue Xingchen ont également réalisé des percées dans ce domaine. Ces modèles reposent généralement sur un encodeur visuel pour extraire les caractéristiques visuelles et les combiner avec un grand modèle linguistique, mais ils présentent un biais d'induction visuelle dû à une formation séparée, ce qui limite l'efficacité et les performances du déploiement des grands modèles multimodaux.