Megatron-LM ist ein leistungsstarkes, großes Transformer-Modell, entwickelt vom NVIDIA-Team für angewandte Deep-Learning-Forschung. Das Produkt dient der fortlaufenden Forschung zum Training großer Transformer-Sprachmodelle. Wir verwenden dabei gemischte Genauigkeit (Mixed Precision), effiziente Modell- und Datenparallelität sowie das Vortraining von Multi-Node-Transformer-Modellen wie GPT, BERT und T5.