BitNet ist ein von Microsoft entwickeltes, offizielles Inferenzframework, das speziell für große Sprachmodelle (LLMs) mit 1-Bit-Quantisierung entwickelt wurde. Es bietet einen optimierten Kern, der eine schnelle und verlustfreie Inferenz von 1,58-Bit-Modellen auf der CPU ermöglicht (NPU- und GPU-Unterstützung wird in Kürze folgen). BitNet erzielt auf ARM-CPUs eine Geschwindigkeitsverbesserung von 1,37- bis 5,07-fach und eine Steigerung der Energieeffizienz um 55,4 % bis 70,0 %. Auf x86-CPUs liegt die Geschwindigkeitsverbesserung zwischen 2,37- und 6,17-fach, die Energieeffizienzsteigerung zwischen 71,9 % und 82,2 %. Darüber hinaus kann BitNet ein 100B-Parameter-BitNet-b1.58-Modell auf einer einzelnen CPU ausführen und so eine Inferenzgeschwindigkeit erreichen, die der menschlichen Lesegeschwindigkeit nahekommt. Dies erweitert die Möglichkeiten, große Sprachmodelle auf lokalen Geräten auszuführen.