Glyph-ByT5 é um codificador de texto personalizado projetado para melhorar a precisão da renderização de texto visual em modelos de geração de imagem a partir de texto. Ele é implementado por meio do ajuste fino de um codificador ByT5 sensível a caracteres e usando um conjunto de dados de texto de glifo emparelhado cuidadosamente selecionado. Após a integração do Glyph-ByT5 com o SDXL, o modelo Glyph-SDXL resultante elevou a precisão da renderização de texto na geração de imagens de design de menos de 20% para quase 90%. O modelo também consegue renderizar automaticamente layouts de várias linhas de texto em parágrafos, mantendo alta precisão ortográfica com contagens de caracteres que variam de dezenas a centenas. Além disso, por meio do ajuste fino com um pequeno número de imagens reais de alta qualidade contendo texto visual, o Glyph-SDXL também mostrou uma melhoria significativa na capacidade de renderização de texto de cena em imagens reais de domínio aberto. Esses resultados promissores visam encorajar explorações adicionais no design de codificadores de texto personalizados para diferentes tarefas desafiadoras.