SpaceByte est une architecture de décodage au niveau des octets entièrement nouvelle, conçue pour résoudre certains inconvénients de la tokenisation, une technique largement utilisée dans les grands modèles de langage. Bien que la tokenisation améliore considérablement les performances des modèles, elle présente de nombreux défauts, tels que l'introduction de biais de performance, une vulnérabilité accrue aux attaques adversariales, une réduction de l'efficacité de la modélisation au niveau des caractères et une augmentation de la complexité de la modélisation. SpaceByte, tout en conservant les avantages du tokenizer, résout efficacement ces défauts. Il utilise un transformateur au niveau des octets comme base et insère des blocs de transformateurs plus importants au niveau intermédiaire du modèle, notamment lorsqu'il rencontre des octets représentant généralement les limites des mots, comme les espaces. Avec le même budget de ressources de calcul pour l'entraînement et l'inférence, cette architecture surpasse non seulement les autres modèles au niveau des octets, mais elle atteint également des performances comparables à celles des modèles Transformer utilisant la tokenisation.