In letzter Zeit hat die fehlerhafte Bearbeitung einfacher Zahlenvergleiche durch verschiedene große KI-Sprachmodelle breite Aufmerksamkeit erregt. Bekannte KI-Modelle wie ByteDance Doubao, GPT4o, Moon's Dark Side Kimi, Jieyue Xingchen Yuewen und Baichuan Intelligence Baixiaoying gaben bei der Beantwortung grundlegender Fragen wie „Welches ist größer: 9,11 oder 9,9?“ falsche Antworten. Zuvor hatten Benutzer bereits festgestellt, dass mehrere große Sprachmodelle Fehler bei der Beantwortung der Frage nach der Anzahl der Buchstaben „r“ im Wort „strawberry“ machten.
Bildquelle: Das Bild wurde mit KI generiert und von Midjourney lizenziert.
Das Unternehmen Moon's Dark Side reagierte auf dieses Phänomen. Das Unternehmen erklärte, dass sich die Erforschung der Fähigkeiten großer Sprachmodelle noch in einem sehr frühen Stadium befinde. Es seien weitere Forschungen und Tests notwendig, um sowohl die Möglichkeiten als auch die Grenzen großer Sprachmodelle zu verstehen.
Moon's Dark Side betonte, dass sie die Entdeckung und Meldung weiterer Grenzfälle (Corner Cases) durch Benutzer während der Nutzung sehr begrüßen. Diese Fälle, sowohl die jüngsten Probleme beim Zahlenvergleich als auch die früheren Probleme bei der Rechtschreibung von Wörtern, tragen zum Verständnis der Grenzen der Fähigkeiten großer Sprachmodelle bei.
Moon's Dark Side wies jedoch darauf hin, dass eine vollständige Lösung dieser Probleme nicht allein durch die schrittweise Behebung jedes einzelnen Falls erreicht werden kann. Sie argumentieren, dass diese Situationen, ähnlich wie Szenarien im autonomen Fahren, kaum vollständig erfasst werden können. Daher sei es wichtiger, die Intelligenz der zugrundeliegenden Basismodelle kontinuierlich zu verbessern, um große Sprachmodelle leistungsfähiger und umfassender zu machen und um sicherzustellen, dass sie auch unter komplexen und extremen Bedingungen hervorragende Leistungen erbringen.
Dieses Ereignis hat eine Diskussion in der Branche über die grundlegenden Fähigkeiten großer KI-Sprachmodelle ausgelöst und verdeutlicht, dass die aktuelle KI-Technologie bei der Bearbeitung scheinbar einfacher Aufgaben immer noch vor Herausforderungen steht. Mit fortschreitender Forschung und technologischem Fortschritt werden diese Probleme voraussichtlich schrittweise verbessert werden.