Die experimentelle Version (Exp1114) von Googles DeepMind Gemini hat auf der Chatbot Arena Plattform bemerkenswerte Ergebnisse erzielt. Nach mehr als einer Woche Community-Tests zeigen über 6000 abgegebene Stimmen, dass das neue Modell seine Konkurrenz deutlich übertrifft und in mehreren Schlüsselbereichen beeindruckende Fähigkeiten demonstriert.
In der Gesamtbewertung belegt Gemini-Exp-1114 mit über 40 Punkten einen hervorragenden ersten Platz gemeinsam mit GPT-4-latest und übertrifft damit die bisher führende Version GPT-4-preview. Noch beeindruckender ist, dass das Modell in Kernbereichen wie Mathematik, komplexen Anweisungen und kreativem Schreiben die Spitze erreicht und somit seine außergewöhnliche Gesamtleistung unter Beweis stellt.
Im Einzelnen zeigt sich der Fortschritt von Gemini-Exp-1114 besonders deutlich:
Im Gesamtranking Sprung vom 3. auf den 1. Platz
Mathematische Fähigkeiten: Aufstieg vom 3. auf den 1. Platz
Verarbeitung komplexer Anweisungen: Steigerung vom 4. auf den 1. Platz
Kreatives Schreiben: Verbesserung vom 2. auf den 1. Platz
Bildverarbeitung: ebenfalls führender Platz
Programmierfähigkeit: Verbesserung vom 5. auf den 3. Platz
Google AI Studio hat diese neue Version offiziell veröffentlicht, damit Nutzer sie ausprobieren können. Die Community äußert jedoch auch Bedenken hinsichtlich bestimmter Punkte, wie z. B. der weiterhin bestehenden Beschränkung auf 1000 Token und der Handhabung von sehr langen Textausgaben in der Praxis.
Branchenexperten sehen in diesem Durchbruch einen Beweis dafür, dass sich Googles langfristige Investitionen im Bereich KI auszahlen. Interessanterweise bleibt das Modell in der Steuerung des Stils auf Platz 4, was darauf hindeuten könnte, dass das Entwicklungsteam hauptsächlich neue Nachtrainingsmethoden verwendet hat, anstatt das vortrainierte Modell zu verändern.
Dieser bedeutende Fortschritt hat auch eine Diskussion über die Branchenstruktur ausgelöst. OpenAI hat in der Vergangenheit oft neue Produkte veröffentlicht, wenn Wettbewerber wichtige Updates herausgebracht haben. Das Ausmaß des Fortschritts von Google ist jedoch so groß, dass die Branche überrascht ist. Es wird vermutet, dass dies auf die bevorstehende Veröffentlichung von Gemini 2 hindeuten könnte und dass Googles Wettbewerbsfähigkeit im Bereich der großen Sprachmodelle deutlich zunimmt.