YaFSDPは、Transformer系ニューラルネットワーク構造との連携を最適化するために設計された分散型データ並列フレームワークです。大規模言語モデル(LLM)の事前学習において、従来のFSDPと比べて20%高速であり、メモリ圧力が高い環境でも優れたパフォーマンスを発揮します。通信とメモリ操作のオーバーヘッドを削減することに重点を置いています。