L'équipe de recherche de Snap Inc. a récemment lancé SnapGen, un générateur d'images par intelligence artificielle capable de produire des images haute résolution directement sur les smartphones haut de gamme. Cette technologie offre aux utilisateurs une expérience de création d'images efficace et pratique sur mobile, brisant les limites imposées par les générateurs d'images IA traditionnels qui nécessitent une puissance de calcul importante.
L'avantage principal de SnapGen réside dans la compacité et l'efficacité de son modèle. Comparé à des générateurs d'images populaires comme SDXL, SnapGen ne compte que 379 millions de paramètres, soit environ un septième de son concurrent. Cette conception compacte permet à SnapGen d'occuper moins d'espace de stockage et d'offrir des vitesses d'exécution supérieures. Les tests ont démontré l'excellente capacité de SnapGen à faire correspondre les images aux descriptions textuelles, avec un score de 0,66, surpassant le score de 0,55 de SDXL, ce qui témoigne d'une nette amélioration de la qualité.
En termes de vitesse, SnapGen est particulièrement remarquable. Sur un iPhone 16 Pro Max, le système peut générer une image haute qualité de 1024x1024 pixels en environ 1,4 seconde. Cette amélioration de la vitesse permet aux utilisateurs de créer sans aucune latence perceptible, profitant ainsi pleinement du plaisir de la génération d'images instantanée.
Pour parvenir à ces améliorations de performance, l'équipe de recherche a repensé de manière systématique l'architecture du réseau, en simplifiant les paramètres et la latence du modèle, tout en garantissant une haute qualité de génération d'images. Ils ont notamment optimisé la partie décodeur, la rendant 36 fois plus petite que les systèmes similaires. De plus, pour que le modèle compact atteigne le niveau de performance des modèles de grande taille, l'équipe s'est inspirée des méthodes d'apprentissage de systèmes IA de grande taille tels que SD3 et SD3.5, développant ainsi un processus d'entraînement spécial capable d'adapter dynamiquement la stratégie d'apprentissage en fonction de la difficulté de la tâche.
Avec l'arrivée de SnapGen, la technologie de génération d'images IA sur les appareils mobiles franchit une nouvelle étape. À l'avenir, les utilisateurs pourront bénéficier d'une création d'images plus rapide et de meilleure qualité sur leur téléphone, ce qui contribuera à faire progresser la création de contenu sur les médias sociaux.