Glyph-ByT5 est un encodeur de texte personnalisé conçu pour améliorer la précision du rendu visuel du texte dans les modèles de génération d'image à partir de texte. Il est obtenu par le réglage fin d'un encodeur ByT5 sensible aux caractères et l'utilisation d'un jeu de données de texte glyphe soigneusement organisé. Intégré à SDXL, Glyph-ByT5 forme le modèle Glyph-SDXL, améliorant la précision du rendu du texte dans la conception de génération d'images de moins de 20% à près de 90%. Ce modèle permet également le rendu automatique de la mise en page multiligne de texte en paragraphe, en maintenant une haute précision orthographique pour des nombres de caractères allant de quelques dizaines à quelques centaines. De plus, grâce au réglage fin sur un petit nombre d'images réelles de haute qualité contenant du texte visuel, Glyph-SDXL a considérablement amélioré ses capacités de rendu de texte de scène dans des images réelles en domaine ouvert. Ces résultats encourageants visent à encourager une exploration plus poussée de la conception d'encodeurs de texte personnalisés pour différentes tâches complexes.