Der russische Technologiekonzern Yandex hat kürzlich sein selbst entwickeltes YaFSDP-Tool (Yandex Full Sharded Data Parallel) der globalen KI-Community als Open Source zur Verfügung gestellt. Dies ist derzeit die effizienteste Methode zur Optimierung des Trainings großer Sprachmodelle (LLMs). Im Vergleich zu der in der Branche weit verbreiteten FSDP-Technologie kann YaFSDP die Trainingsgeschwindigkeit von LLMs um bis zu 26 % steigern und so KI-Entwicklern und Unternehmen erhebliche GPU-Ressourcen sparen.
YaFSDP ist eine verbesserte Version von FSDP, die sich auf die Optimierung der GPU-Kommunikationseffizienz und der Speichernutzung konzentriert und Engpässe im LLM-Trainingsprozess beseitigt. Bei kommunikationsintensiven Aufgaben wie Pretraining, Alignment und Feinabstimmung zeigt YaFSDP eine hervorragende Leistungssteigerung, insbesondere bei Trainingsmodellen mit 30 bis 70 Milliarden Parametern.
Bildquelle: Das Bild wurde mit KI generiert und von Midjourney lizenziert.
Mikhail Khruschev, Senior Development Expert bei Yandex und Mitglied des YaFSDP-Teams, erklärt: „YaFSDP eignet sich am besten für die weit verbreiteten Open-Source-Modelle, die auf der LLaMA-Architektur basieren. Wir arbeiten kontinuierlich an der Optimierung und Erweiterung seiner Vielseitigkeit für verschiedene Modellarchitekturen und Parametergrößen, um die Trainingseffizienz in einem breiteren Anwendungsspektrum zu verbessern.“
Schätzungen zufolge können durch die Verwendung von YaFSDP beim Training eines Modells mit 70 Milliarden Parametern etwa 150 GPUs eingespart werden, was monatliche Kostenersparnisse von 500.000 bis 1.500.000 US-Dollar bedeutet. Diese Kostenersparnis könnte das eigenständige LLM-Training für kleine und mittlere Unternehmen sowie Einzelentwickler erschwinglicher machen.
Gleichzeitig bekräftigt Yandex sein Engagement, zur Entwicklung der globalen KI-Community beizutragen. Die Open-Source-Veröffentlichung von YaFSDP ist ein Ausdruck dieses Engagements. Zuvor hat das Unternehmen bereits mehrere hoch angesehene Open-Source-KI-Tools veröffentlicht, darunter die CatBoost High-Performance-Gradient-Boosting-Bibliothek, den AQLM Extreme Model Compression Algorithmus und die Petals Model Training Simplification Library.
Branchenexperten weisen darauf hin, dass mit der zunehmenden Größe von LLMs die Steigerung der Trainingseffizienz zu einem Schlüsselfaktor für die Entwicklung der Künstlichen Intelligenz wird. Technologische Durchbrüche wie YaFSDP könnten der KI-Community helfen, die Forschung an großen Modellen schneller voranzutreiben und deren Anwendungspotenzial in Bereichen wie der Verarbeitung natürlicher Sprache und dem Computersehen zu erschließen.