SPDL (Scalable and Performant Data Loading) es una nueva solución de carga de datos desarrollada por Meta Reality Labs, diseñada para mejorar la eficiencia del entrenamiento de modelos de IA. Emplea el procesamiento paralelo basado en threads, lo que permite un alto rendimiento en el intérprete de Python estándar, consumiendo menos recursos computacionales que las soluciones tradicionales basadas en procesos. SPDL es compatible con Free-Threaded Python, logrando un mayor rendimiento al deshabilitar GIL que con la implementación FT Python con GIL habilitado. Sus principales ventajas incluyen: alto rendimiento, fácil comprensión del desempeño, ausencia de encapsulación de operaciones de preprocesamiento, no introduce lenguajes específicos de dominio (DSL), integración perfecta con herramientas asíncronas, flexibilidad, simplicidad e intuitividad, y tolerancia a fallos. El contexto de SPDL revela que, a medida que aumenta el tamaño de los modelos, también lo hace la demanda computacional de datos; SPDL acelera el entrenamiento de los modelos maximizando la utilización de la GPU.