SPDL(Scalable and Performant Data Loading)は、Meta Reality Labsが開発した新しいデータロードソリューションで、AIモデルのトレーニング効率を向上させることを目的としています。スレッドベースの並列処理を採用しており、従来のプロセスベースのソリューションと比較して、一般的なPythonインタープリターにおいて高いスループットを実現し、消費する計算リソースも少なくなります。SPDLはFree-Threaded Pythonと互換性があり、GILを無効にした場合、GILを有効にしたFT Python実装よりも高いスループットを実現します。SPDLの主な利点としては、高スループット、分かりやすいパフォーマンス、プリプロセス操作の非カプセル化、ドメイン固有言語(DSL)の導入がないこと、非同期ツールとのシームレスな統合、柔軟性、シンプルで直感的な操作性、および耐障害性が挙げられます。SPDLの背景情報によると、モデルの規模が大きくなるにつれてデータの計算需要も増加しますが、SPDLはGPUの利用率を最大化することでモデルのトレーニング速度を向上させます。