SpaceByte es una arquitectura de decodificación a nivel de byte completamente nueva, diseñada para abordar las desventajas de la técnica de tokenización, ampliamente utilizada en los modelos de lenguaje a gran escala. Si bien la tokenización puede mejorar significativamente el rendimiento del modelo, también presenta varios inconvenientes, como la introducción de sesgos de rendimiento, el aumento de la vulnerabilidad a ataques adversarios, la reducción de la eficacia del modelado a nivel de carácter y el aumento de la complejidad del modelado. SpaceByte, manteniendo las ventajas del tokenizador, soluciona eficazmente estos defectos. Utiliza un Transformer a nivel de byte como base e inserta bloques Transformer más grandes en la jerarquía del modelo, especialmente cuando encuentra bytes que suelen representar límites de palabras, como los espacios en blanco. Con el mismo presupuesto de recursos de entrenamiento e inferencia, esta arquitectura no solo supera a otros modelos a nivel de byte, sino que también puede lograr un rendimiento comparable al de los modelos Transformer con tokenización.