In einem der laufenden Rechtsstreite um Urheberrechte im Zusammenhang mit Meta's KI, Kadrey gegen Meta, enthüllen interne Mitteilungen, die vom Gericht veröffentlicht wurden, einen erbitterten Wettbewerb und potenzielle Urheberrechtsprobleme bei der Entwicklung von Llama3. Führende Führungskräfte und Forscher von Meta gaben alles, um OpenAI und Anthropic im Bereich der KI-Modellentwicklung zu übertreffen und deren GPT-4 und Claude als Goldstandard zu betrachten.
Erbitterter Wettbewerb: Metas Schwur, OpenAI zu schlagen
Laut Ahmad Al-Dahle, Vizepräsident für generative KI bei Meta, zielte die Entwicklung von Llama3 direkt auf GPT-4 ab, mit dem Ziel, durch effiziente Hardwareunterstützung, wie z. B. 64k GPUs, im KI-Wettbewerb die Nase vorn zu haben. In einer internen Nachricht schrieb Al-Dahle: „Wir bringen 64k GPUs auf den Markt! Wir müssen lernen, wie man an die Spitze kommt und dieses Rennen gewinnt.“
Obwohl Meta Open-Source-KI-Modelle veröffentlicht hat, konzentrierten sich die Führungskräfte stärker darauf, Wettbewerber wie OpenAI und Anthropic zu schlagen, die ihre Modellgewichte in der Regel nicht öffentlich zugänglich machen, sondern ihre Modelle über APIs anbieten – ein starker Fokus auf den Wettbewerb.
Geringschätzung gegenüber Mistral und interne Ängste
Das französische KI-Startup Mistral ist einer der größten öffentlichen Konkurrenten von Meta, doch die Führungskräfte von Meta scheinen es zu verachten. In einer Nachricht bezeichnete Al-Dahle Mistral als „unwichtig für uns, wir sollten besser sein können“. Dies zeigt die große Angst von Meta vor dem KI-Wettbewerb und ihren starken Ehrgeiz in der Branche.
Gleichzeitig diskutierten die KI-Führungskräfte von Meta in internen Gesprächen häufig darüber, wie sie aktiv Daten für das Training von Llama3 beschaffen, und einige Informationen deuten darauf hin, dass die Führungskräfte große Erwartungen an Llama3 hatten. Ein Manager erwähnte sogar in einer Nachricht: „Llama3 ist alles, was mich wirklich interessiert.“
Urheberrechtsprobleme und rechtliche Herausforderungen
Mit dem intensiven Wettbewerb bei der Entwicklung von Llama3 gerieten auch die verwendeten Trainingsdaten in die Kritik. Staatsanwälte werfen den Führungskräften von Meta vor, möglicherweise beim Versuch, den KI-Entwicklungsprozess zu beschleunigen, Abkürzungen genommen und urheberrechtlich geschützte Bücher als Trainingsdaten verwendet zu haben.
In einer Nachricht gab der Forscher Hugo Touvron zu, dass die im Llama2-Training verwendete Datenzusammenstellung „schlecht“ war, und schlug vor, Llama3 durch eine Verbesserung des Datensatzes zu optimieren. Sie diskutierten auch die Überwindung von Hindernissen bei der Verwendung des LibGen-Datensatzes, der urheberrechtlich geschützte Werke von Verlagen wie Cengage Learning, Macmillan Learning, McGraw Hill und Pearson Education enthält.
Trotz der Urheberrechtsprobleme betonte Meta-CEO Mark Zuckerberg, dass Meta die Weiterentwicklung der Llama-Modelle vorantreiben und den Abstand zu anderen geschlossenen Modellen wie OpenAI und Google verringern werde.
Metas Zukunftsaussichten und die Marktposition von Llama3
Im Juli 2024 erklärte Zuckerberg, dass Llama3 in seiner Leistung mit den modernsten KI-Modellen mithalten und in einigen Bereichen führend sei. Er prognostizierte, dass die Llama-Serie von Meta ab 2025 zu den fortschrittlichsten KI-Modellen der Branche gehören werde. Die Veröffentlichung von Llama3 muss sich jedoch weiterhin mit den zunehmenden Urheberrechtsklagen auseinandersetzen, insbesondere mit der rechtlichen Prüfung der verwendeten Trainingsdaten.