Eine neue Forschungsmethode hat kürzlich das bisher unerkannte Potenzial von KI-Modellen während des Lernprozesses aufgedeckt. Forscher analysierten die Lernmechanismen von KI-Modellen im „Konzeptraum“ und entdeckten, wie KI-Systeme Bilder besser verstehen und generieren können.
Bildquelle: Bild durch KI generiert, Bildrechte bei Midjourney
Der „Konzeptraum“ ist ein abstraktes Koordinatensystem, das die Merkmale jedes einzelnen Konzepts in den Trainingsdaten darstellt, z. B. Form, Farbe oder Größe von Objekten. Die Forscher erklären, dass die Beschreibung der Lernmechanismen in diesem Raum Aufschluss über die Lerngeschwindigkeit und die von den Datenattributen beeinflusste Lernreihenfolge gibt. Dieses Attribut wird als „Konzeptsignal“ bezeichnet. Dieses Konzeptsignal spiegelt die Empfindlichkeit des Datenzeugungsprozesses gegenüber Veränderungen der Konzeptwerte wider. Wenn beispielsweise der Unterschied zwischen Rot und Blau in einem Datensatz deutlich ist, lernt das Modell Farben schneller.
Während der Studie beobachtete das Forschungsteam plötzliche Richtungsänderungen in der Lernmechanik des Modells, einen Übergang von „Konzeptgedächtnis“ zu „Generalisierung“. Um dieses Phänomen zu überprüfen, trainierten sie ein Modell mit den Eingaben „großer roter Kreis“, „großer blauer Kreis“ und „kleiner roter Kreis“. Die Kombination „kleiner blauer Kreis“, die während des Trainings nicht vorkam, konnte das Modell nicht durch einfache Textaufforderungen generieren. Durch die Anwendung von „latenten Interventionen“ (d. h. Manipulation der für Farbe und Größe verantwortlichen Aktivierungen im Modell) und „Overprompting“ (d. h. Verstärkung der Farbspezifikationen durch RGB-Werte) gelang es den Forschern jedoch, einen „kleinen blauen Kreis“ zu generieren. Dies zeigt, dass das Modell zwar die Kombination von „Blau“ und „Klein“ verstand, diese Fähigkeit aber nicht durch einfache Textaufforderungen abgerufen werden konnte.
Das Forschungsteam erweiterte diese Methode auch auf reale Datensätze wie CelebA, der verschiedene Gesichtsbildattribute wie Geschlecht und Lächeln enthält. Die Ergebnisse zeigten, dass das Modell bei der Generierung von Bildern lächelnder Frauen verborgene Fähigkeiten aufwies, die bei Verwendung grundlegender Aufforderungen nicht zum Tragen kamen. Erste Experimente zeigten außerdem, dass mit Stable Diffusion 1.4 durch Overprompting ungewöhnliche Bilder wie dreieckige Kreditkarten erzeugt werden konnten.
Daher schlägt das Forschungsteam eine allgemeine Hypothese über verborgene Fähigkeiten vor: Generative Modelle verfügen über latente Fähigkeiten, die während des Trainings plötzlich und konsistent auftreten, obwohl das Modell diese Fähigkeiten bei normalen Aufforderungen möglicherweise nicht zeigt.
Wichtigste Punkte:
🌟 KI-Modelle zeigen während des Lernprozesses latente, verborgene Fähigkeiten, die über das hinausgehen, was durch herkömmliche Aufforderungen ausgelöst werden kann.
🔍 Mithilfe von „latenten Interventionen“ und „Overprompting“ konnten die Forscher diese verborgenen Fähigkeiten aktivieren und unerwartete Bilder generieren.
📊 Die Analyse der Lernmechanismen im „Konzeptraum“ zeigt, dass die Lerngeschwindigkeit verschiedener Konzepte von den Datenmerkmalen beeinflusst wird.