Kürzlich veröffentlichte das KI-Forschungsunternehmen Epoch AI einen interaktiven Simulator, der speziell zur Simulation der für das Training großer Sprachmodelle benötigten Rechenleistung entwickelt wurde. Mithilfe dieses Simulators stellten die Forscher fest, dass GPT-4 zwar mit alten Grafikkarten aus dem Jahr 2012 (wie der GTX580) trainiert werden kann, die Kosten jedoch das Zehnfache der heutigen modernen Hardware betragen würden.
Die Forschung von Epoch AI zeigt, dass die für das Training von GPT-4 benötigte Anzahl an Gleitkommaoperationen (FLOP) zwischen 1e25 und 1e26 liegt. Für diese Untersuchung analysierte der Simulator die Effizienz verschiedener Grafikkarten, insbesondere bei zunehmender Modellgröße. Die Ergebnisse zeigen, dass die Effizienz mit wachsendem Modell in der Regel abnimmt. Die Grafikkarte H100, die in den letzten Jahren auf den Markt kam, beispielsweise, behält über einen längeren Zeitraum eine hohe Effizienz, während die V100 bei größeren Trainingsgrößen deutlich stärker an Effizienz verliert.
In den Experimenten von Epoch AI verfügte die GTX580-Grafikkarte über einen Speicher von nur 3 GB. Diese Grafikkarte war 2012 die gängige Wahl für das Training des AlexNet-Modells. Obwohl die Technologie Fortschritte gemacht hat, halten die Forscher es für möglich, mit alter Hardware ein so umfangreiches Training durchzuführen, die benötigten Ressourcen und Kosten wären jedoch enorm hoch.
Darüber hinaus unterstützt der Simulator komplexe Trainingssimulationen über mehrere Rechenzentren hinweg. Benutzer können Parameter wie die Größe, die Latenz und die Verbindungsbandbreite der Rechenzentren anpassen, um Trainingsläufe über mehrere Standorte hinweg zu simulieren. Dieses Tool ermöglicht auch die Analyse der Leistungsunterschiede zwischen modernen Grafikkarten (wie H100 und A100), die Untersuchung verschiedener Batchgrößen und die Auswirkungen von Multi-GPU-Training sowie die Erstellung detaillierter Protokolldateien, die die Ausgabe des Modells aufzeichnen.
Epoch AI gibt an, dass die Entwicklung dieses Simulators darauf abzielt, das Verständnis für die Verbesserung der Hardwareeffizienz zu vertiefen und die Auswirkungen von Chip-Exportkontrollen zu bewerten. Angesichts des erwarteten Anstiegs großer Trainingsaufgaben in diesem Jahrhundert ist es besonders wichtig, den zukünftigen Hardwarebedarf zu kennen.
Wichtigste Punkte:
💻 Die 2012 eingeführte GTX580-Grafikkarte kann GPT-4 mit dem Zehnfachen der Kosten trainieren, ist aber ineffizient.
📊 Der Simulator kann die Leistungsunterschiede verschiedener GPUs analysieren und unterstützt die Simulation von Trainings über mehrere Rechenzentren hinweg.
🔍 Diese Studie zielt darauf ab, das Verständnis des zukünftigen Hardwarebedarfs zu verbessern und das Training großer KI-Modelle zu unterstützen.
