Dans le domaine de l'intelligence artificielle, les modèles Transformer sont largement reconnus pour leurs performances exceptionnelles dans le traitement des tâches linguistiques. Une récente publication, 'Transformer Layers as Painters', explore sous un angle novateur l'architecture hiérarchique des modèles Transformer, en comparant chaque couche à un peintre qui, sur la toile linguistique, crée un texte complexe et riche. L'étude, par le biais d'expérimentations, révèle le mécanisme de fonctionnement des couches Transformer, et notamment la manière dont elles collaborent.

Les peintres IA rencontrent des difficultés pour générer des scènes spécifiques, comme un "Coca-Cola glacé dans une tasse", ce qui met en évidence le problème de l'incohérence texte-image. Le docteur Zhao Juntuo et son équipe de l'Université Jiao Tong de Shanghai ont découvert que même les modèles d'IA les plus avancés ont du mal à comprendre et à réaliser avec précision des concepts complexes décrits par le texte, comme la différence entre un verre transparent et une tasse traditionnelle. Pour résoudre ce problème, ils ont proposé la méthode Mixture of Concept Experts (MoCE), qui utilise des grands modèles de langage pour aider l'IA à comprendre les concepts cachés et ainsi contrôler le texte avec plus de précision.