Megatron-LMは、NVIDIAの深層学習応用研究チームによって開発された、強力な大規模Transformerモデルです。本製品は、大規模Transformer言語モデルの継続的な研究開発に使用されます。混合精度、高効率なモデル並列処理とデータ並列処理、ならびにGPT、BERT、T5などの多ノードTransformerモデルの事前学習に利用しています。