Eine neue Studie der Universität Michigan hat eine energiesparende Methode zur Schulung großer Sprachmodelle entdeckt, die mit der gleichen Geschwindigkeit, aber mit 30 % weniger Energieverbrauch arbeitet. Diese Methode könnte so viel Energie sparen, dass sie bis 2026 1,1 Millionen amerikanische Haushalte mit Strom versorgen könnte.
Die Forscher entwickelten ein Software-Tool namens Perseus, das kritische Pfade identifiziert – also die Abfolge von Unteraufgaben, die am längsten dauern. Perseus reduziert dann die Prozessorgeschwindigkeit auf nicht-kritischen Pfaden, sodass alle Aufgaben gleichzeitig abgeschlossen werden können und unnötiger Energieverbrauch vermieden wird.
Das Team testete Perseus durch das Training von GPT-3, drei weiteren großen Sprachmodellen und einem Computer-Vision-Modell. Die Ergebnisse zeigten, dass Perseus den Energieverbrauch beim KI-Training senken kann, ohne die Trainingsgeschwindigkeit zu beeinträchtigen.
Die Forscher betonen die Bedeutung dieser energiesparenden Methode für einen fairen Zugang zu künstlicher Intelligenz. Wenn ein Land nicht über genügend Strom verfügt, um große Modelle zu betreiben, muss es möglicherweise auf Remote-Dienste zurückgreifen oder kann nur kleinere, weniger genaue Modelle verwenden. Diese Diskrepanz könnte die Kluft zwischen verschiedenen Gemeinschaften weiter vergrößern.
Die Studie zeigt, dass durch die Optimierung von KI-Trainingsmethoden der Energieverbrauch gesenkt werden kann, ohne die Geschwindigkeit zu beeinträchtigen. Dies ist von großer Bedeutung für Energieeinsparungen und die Reduzierung des CO2-Fußabdrucks.