今日のAI分野では、モデルのトレーニングは、より優れたアーキテクチャの設計だけでなく、データの効率的な管理も必要不可欠です。最新のAIモデルは大量のデータが必要であり、それらのデータはGPUやその他のアクセラレータに迅速に供給される必要があります。しかし、従来のデータローディングシステムは、この要件を満たすことができず、GPUのアイドル状態、トレーニング時間の増加、コストの上昇につながることがよくあります。特に、拡張が必要な場合や、複数のデータ型を処理する必要がある場合、この問題はさらに顕著になります。これらの問題に対処するため、Meta AIはSPDL（スケーラブルで…）を開発しました。