SPDL (Scalable and Performant Data Loading) ist eine von Meta Reality Labs entwickelte Datenlade-Lösung zur Steigerung der Effizienz beim Training von KI-Modellen. Durch parallele Thread-basierte Verarbeitung erzielt SPDL im Vergleich zu traditionellen prozessbasierten Lösungen einen hohen Durchsatz mit geringerem Ressourcenverbrauch in gewöhnlichen Python-Interpretern. SPDL ist kompatibel mit Free-Threaded Python und erreicht bei deaktiviertem GIL einen höheren Durchsatz als die FT-Python-Implementierung mit aktiviertem GIL. Zu den Hauptvorteilen von SPDL gehören hoher Durchsatz, leicht verständliche Performance, keine Kapselung von Vorverarbeitungsoperationen, keine Einführung domänenspezifischer Sprachen (DSL), nahtlose Integration von asynchronen Tools, Flexibilität, einfache und intuitive Bedienung sowie Fehlertoleranz. Der Hintergrund von SPDL zeigt, dass mit wachsender Modellgröße auch der Rechenbedarf für Daten zunimmt. SPDL beschleunigt das Modelltraining, indem es die GPU-Auslastung maximiert.