SPDL (Scalable and Performant Data Loading) é uma nova solução de carregamento de dados desenvolvida pelo Meta Reality Labs, projetada para aumentar a eficiência do treinamento de modelos de IA. Utilizando processamento paralelo baseado em threads, o SPDL, em um interpretador Python comum, alcança alta taxa de transferência e consome menos recursos computacionais em comparação com soluções tradicionais baseadas em processos. O SPDL é compatível com o Free-Threaded Python, atingindo maior taxa de transferência ao desabilitar o GIL do que com o FT Python com GIL habilitado. As principais vantagens do SPDL incluem alta taxa de transferência, desempenho fácil de entender, ausência de encapsulamento de operações de pré-processamento, ausência de linguagem específica de domínio (DSL), integração perfeita com ferramentas assíncronas, flexibilidade, simplicidade e intuitividade, além de tolerância a falhas. O contexto do SPDL mostra que, com o aumento da escala dos modelos, a demanda computacional de dados também aumenta, e o SPDL acelera o treinamento do modelo maximizando a utilização da GPU.