Energiebedarf von KI-Inferenz

Sergej Edunow, Leiter der Generative-KI-Entwicklung bei Meta, gab kürzlich auf dem Silicon Valley Digital Workers Forum bekannt, dass der steigende globale Bedarf an KI-Inferenzanwendungen im nächsten Jahr mit dem Strombedarf von nur zwei zusätzlichen Kernkraftwerken gedeckt werden könnte. Edunow schätzt, dass im nächsten Jahr weltweit eine große Anzahl an Nvidia H100-Grafikprozessoren für KI-Inferenz eingesetzt werden. Wenn diese Prozessoren ausschließlich für die Generierung von Sprachmodellen in angemessener Größenordnung verwendet werden, bleibe der Energieverbrauch im Rahmen.

Er erklärte außerdem, dass das Training größerer Sprachmodelle mit einem Mangel an Daten konfrontiert sei und es in den nächsten 3-4 Jahren wahrscheinlich klar werde, ob die aktuelle Technologie in der Lage sei, eine allgemeine KI zu erreichen.