Interne Mitteilungen, die TechCrunch vorliegen, zeigen, dass Google Auftragnehmer damit beauftragt hat, sein Gemini AI-Modell mit Anthropics Claude zu vergleichen. Dieser Vorgang hat Bedenken hinsichtlich der Compliance ausgelöst.
Die Dokumente zeigen, dass die mit der Verbesserung von Gemini beauftragten Auftragnehmer innerhalb von 30 Minuten die Antwortqualität von Gemini und Claude anhand verschiedener Kriterien wie Wahrheitsgehalt und Detailliertheit vergleichen und bewerten müssen. Auftragnehmer haben kürzlich auf der internen Bewertungsplattform von Google eindeutige Hinweise auf Claude entdeckt, darunter die Aussage „Ich bin Claude, erstellt von Anthropic“.
Interne Diskussionen zeigen, dass die Auftragnehmer bemerkten, dass Claude strengere Sicherheitsstandards aufweist. Ein Auftragnehmer sagte: „Claudes Sicherheitseinstellungen sind die strengsten aller KI-Modelle.“ In einigen Fällen, in denen Geminis Antworten wegen „Nacktheit und Fesseln“ als „gravierende Sicherheitsverletzung“ markiert wurden, lehnte Claude die entsprechenden Anfragen direkt ab.
Bemerkenswert ist, dass dieses Vorgehen von Google, als Hauptinvestor von Anthropic, möglicherweise gegen die Nutzungsbedingungen von Anthropic verstößt. Diese Bedingungen verbieten ausdrücklich den nicht autorisierten Zugriff auf Claude, um „Wettbewerbs-Produkte zu entwickeln“ oder „Wettbewerbs-KI-Modelle zu trainieren“. Auf die Frage, ob Google die Erlaubnis von Anthropic erhalten habe, antwortete die Google DeepMind-Sprecherin Shira McNamara nicht direkt.
McNamara erklärte, dass DeepMind zwar „Modell-Outputs vergleicht“, um die Leistung zu bewerten, aber bestritt, Anthropic-Modelle zum Trainieren von Gemini verwendet zu haben. „Dies entspricht der branchenüblichen Praxis“, sagte sie, „jedoch ist jede Behauptung, wir hätten Anthropic-Modelle zum Trainieren von Gemini verwendet, ungenau.“
Zuvor hatte Google KI-Produkt-Auftragnehmer gebeten, Geminis Antworten außerhalb seines Fachgebiets zu bewerten, was bei den Auftragnehmern Bedenken hinsichtlich möglicher ungenauer Informationen des KI-Systems in sensiblen Bereichen wie dem Gesundheitswesen auslöste.
Zum Zeitpunkt der Veröffentlichung hatte sich ein Sprecher von Anthropic noch nicht zu diesem Thema geäußert.