SpaceByte é uma arquitetura de decodificação em nível de byte totalmente nova, projetada para resolver algumas desvantagens da técnica de tokenização amplamente utilizada em modelos de linguagem de grande porte. Embora a tokenização possa melhorar significativamente o desempenho do modelo, ela também apresenta várias desvantagens, como introdução de viés de desempenho, aumento da vulnerabilidade a ataques adversários, redução da eficácia da modelagem em nível de caractere e aumento da complexidade da modelagem. O SpaceByte, mantendo as vantagens do tokenizer, resolve eficazmente as desvantagens mencionadas. Ele utiliza um Transformer em nível de byte como base e insere blocos Transformer maiores na camada intermediária do modelo, especialmente quando encontra bytes que normalmente representam limites de palavras, como espaços em branco. Com o mesmo orçamento de recursos computacionais de treinamento e inferência, a arquitetura não apenas supera outros modelos em nível de byte, mas também pode atingir desempenho comparável ao dos modelos Transformer com tokenização.