Glyph-ByT5 es un codificador de texto personalizado diseñado para mejorar la precisión de la renderización de texto visual en modelos de generación de imagen a partir de texto. Se logra mediante el ajuste fino de un codificador ByT5 con percepción de caracteres y el uso de un conjunto de datos de texto de glifos emparejados cuidadosamente curados. Integrado con SDXL, forma el modelo Glyph-SDXL, que aumenta la precisión de la renderización de texto en la generación de imágenes de diseño de menos del 20% a cerca del 90%. El modelo también permite la renderización automática de diseño de varias líneas de texto de párrafo, manteniendo una alta precisión ortográfica con un número de caracteres que va desde decenas hasta cientos. Además, mediante el ajuste fino con un pequeño número de imágenes reales de alta calidad que contienen texto visual, Glyph-SDXL también ha mejorado significativamente la capacidad de renderización de texto de escena en imágenes reales de dominio abierto. Estos alentadores resultados buscan fomentar la exploración de codificadores de texto personalizados diseñados para diferentes tareas desafiantes.