YaFSDP est un framework de parallélisation de données distribuées, spécialement conçu pour une collaboration optimale avec les architectures de réseaux neuronaux de type transformateur. Il est 20 % plus rapide que le FSDP traditionnel lors du pré-entraînement de grands modèles linguistiques (LLM) et offre de meilleures performances sous forte contrainte mémoire. YaFSDP vise à réduire les coûts liés à la communication et aux opérations mémoire.