Meta hat kürzlich die Veröffentlichung seines neuesten Mitglieds der Llama-Familie angekündigt: Llama 3.370B. Ahmad Al-Dahle, Vizepräsident für generative KI bei Meta, gab die Nachricht auf der X-Plattform bekannt und betonte, dass Llama 3.370B im Vergleich zu Metas bisher größtem Llama-Modell, Llama 3.1405B, eine deutliche Leistungssteigerung bei gleichzeitig erheblich reduzierten Kosten aufweist.
Al-Dahle erklärte, dass Llama 3.370B durch den Einsatz modernster Trainingstechniken nicht nur die Leistung verbessert, sondern auch die Betriebskosten senkt. Laut Metas veröffentlichten Benchmark-Ergebnissen übertrifft Llama 3.370B in mehreren Bereichen Googles Gemini 1.5 Pro, OpenAIs GPT-4 und Amazons neu veröffentlichtes Nova Pro, insbesondere beim MMLU-Test, der die Sprachverständnisfähigkeit von Modellen bewertet.
Das Modell kann jetzt von Quellen wie Hugging Face und der offiziellen Llama-Plattform heruntergeladen werden. Mit dieser Maßnahme will Meta durch „offene“ Modelle die Führung im KI-Bereich übernehmen. Metas Llama-Modelle sind vielseitig einsetzbar und kommerziell nutzbar, obwohl Meta für einige Entwickler Nutzungsbeschränkungen auferlegt und von Plattformen mit über 700 Millionen Nutzern die Beantragung einer Sondergenehmigung verlangt. Trotzdem wurde Llama bereits über 650 Millionen Mal heruntergeladen, was seine große Beliebtheit bei KI-Entwicklern weltweit zeigt.
Um das Training zukünftig noch größerer KI-Modelle zu ermöglichen, investiert Meta stark in seine Recheninfrastruktur. Das Unternehmen gab kürzlich den Bau eines 10 Milliarden Dollar teuren KI-Rechenzentrums in Louisiana bekannt – Metas bisher größtes KI-Rechenzentrum. Mark Zuckerberg erwähnte in einer Telefonkonferenz zum Geschäftsbericht, dass die für das Training der nächsten Generation von Llama 4 benötigte Rechenleistung das Zehnfache der für Llama 3 benötigten Leistung betragen wird. Meta hat bereits über 100.000 Nvidia GPU-Cluster angeschafft, was mit den Ressourcen von Wettbewerbern wie xAI vergleichbar ist.
Mit den steigenden Kosten für das Training generativer KI-Modelle steigen auch die Investitionen von Meta. Die Investitionen im zweiten Quartal 2024 stiegen um fast 33 % auf 8,5 Milliarden Dollar. Dieses Wachstum ist hauptsächlich auf die kontinuierlichen Investitionen von Meta in Server, Rechenzentren und Netzwerkinfrastruktur zurückzuführen.