SpaceByteは、大規模言語モデルで広く使用されているトークナイゼーション技術がもたらすいくつかの欠点を解決することを目的とした、全く新しいバイトレベルのデコードアーキテクチャです。トークナイゼーションはモデルのパフォーマンスを大幅に向上させる一方、性能バイアスの導入、敵対的攻撃に対する脆弱性の増加、文字レベルのモデリング効果の低下、モデリング複雑性の増加などの欠点も数多く存在します。SpaceByteは、トークナイザーの利点を維持しつつ、上記の欠点を効果的に解決します。バイトレベルのTransformerを基盤として使用し、特に単語境界を示すスペースなどのバイトに遭遇した際に、モデルの階層の中間により大きなTransformerブロックを挿入します。このアーキテクチャは、同じトレーニングと推論計算リソースの予算下で、他のバイトレベルのモデルを凌駕するだけでなく、トークナイゼーションを使用するTransformerモデルと同等の性能を達成することもできます。