Kürzlich wurden im Zuge des Rechtsstreits Kadrey gegen Meta, einem Fall um Urheberrechte an künstlicher Intelligenz, interne Meta-Mitteilungen vom Gericht freigegeben. Diese enthüllen den Ehrgeiz der Unternehmensführung, mit Llama3 das OpenAI-Modell GPT-4 zu übertreffen.
In einer Nachricht vom Oktober 2023 schrieb Ahmad Al-Dahle, Metas Vizepräsident für generative KI: „Ehrlich gesagt, unser Ziel muss GPT-4 sein. Wir haben 64.000 GPUs! Wir müssen lernen, Spitzentechnologie zu entwickeln und diesen Wettbewerb zu gewinnen.“
Obwohl Meta offene KI-Modelle veröffentlicht, konzentriert sich die KI-Führungsebene offenbar stärker auf die Konkurrenten, die keine Modellgewichte offenlegen, wie Anthropic und OpenAI, und betrachtet deren Claude und GPT-4 als Maßstab. Das französische KI-Startup Mistral wird zwar mehrfach erwähnt, wird von der Meta-Führung jedoch eher herablassend beurteilt. Al-Dahle schrieb in einer Nachricht: „Mistral ist für uns ein Kinderspiel, wir sollten das besser können.“
Im KI-Bereich liefern sich die großen Unternehmen ein Wettrennen um die Entwicklung fortschrittlicher KI-Modelle. Die Gerichtsdokumente zeigen die angespannte Atmosphäre bei Meta in diesem Wettbewerb. In mehreren Nachrichten erwähnen Metas KI-Führungskräfte, dass sie bei der Beschaffung der für das Training von Llama benötigten Daten „sehr aktiv“ waren. Ein Manager sagte sogar: „Llama3 ist das Einzige, worum ich mich kümmere.“ Sie diskutierten, wie sie die Datensätze verbessern könnten, um die Leistung von Llama3 zu steigern.
Die Staatsanwaltschaft wirft den Meta-Managern jedoch vor, bei der Eile, ein KI-Modell auf den Markt zu bringen, möglicherweise Fehler bei der Datennutzung gemacht und urheberrechtlich geschützte Bücher verwendet zu haben. Touvron erwähnte, dass die Datenmenge von Llama2 „nicht gut funktionierte“ und diskutierte, wie man Llama3 mit besseren Datenquellen verbessern könnte. Al-Dahle fragte: „Haben wir die richtigen Datensätze? Gibt es etwas, das aus dummen Gründen nicht verwendet werden kann?“
Meta-CEO Mark Zuckerberg hatte zuvor erklärt, er bemühe sich, den Leistungsabstand zwischen den Llama-Modellen und den proprietären Modellen von OpenAI und Google zu verringern. Die internen Nachrichten zeigen, dass Meta bei der Verfolgung dieses Ziels unter großem Druck steht. In einem Brief vom Juli 2024 schrieb Zuckerberg: „Llama3 ist dieses Jahr wettbewerbsfähig unter den modernsten Modellen und in einigen Bereichen führend.“
Im April 2024 veröffentlichte Meta schließlich Llama3, ein offenes KI-Modell, das sich im Wettbewerb gut behauptete und die offenen Optionen von Mistral übertraf. Die zur Schulung des Modells verwendeten Daten – angeblich mit Zustimmung von Zuckerberg – werden jedoch derzeit in mehreren Prozessen geprüft.
Wichtigste Punkte:
🌟 Die Meta-Führung konzentrierte sich bei der Entwicklung von Llama3 darauf, das GPT-4-Modell von OpenAI zu übertreffen.
💡 Das Unternehmen war sehr aktiv bei der Datenerfassung, steht aber im Verdacht, urheberrechtlich geschützte Daten verwendet zu haben.
📈 Zuckerberg erwartet, dass zukünftige Llama-Modelle zu den fortschrittlichsten der Branche gehören werden.
