在当今的人工智能领域，训练模型不仅仅是设计更好的架构，还需要高管理数据。现代 AI 模型需要大量数据，并且这些数据必须快速送达 GPU 和其他加速器。然而，传统的数据加载系统常常无法满足这一需求，导致 GPU 闲置、训练时间延长以及成本增加。尤其是在需要扩展或处理多种数据类型时，这个问题显得尤突出。为了解决这些问题，Meta AI 开发了 SPDL（可扩展且高效的数据加载），这是一个旨在改善 AI 训练数据传输的工具。SPDL 采用线程式加载，这一方法不同于传统的基于进程的方法