Eine kürzlich durchgeführte Studie zeigt, dass Sprachmodelle durch spezielles Training teilweise eine effizientere mehrstufige Schlussfolgerungsfähigkeit erlangen können. Diese Fähigkeit ähnelt dem vom Psychologen Daniel Kahneman beschriebenen „System-2-Denken“, einer langsamen und bewussten Informationsverarbeitungsweise.
Forscher von Meta haben eine neue Methode entwickelt, um rechenintensive mehrstufige Schlussfolgerungsprozesse in die Parameter von Sprachmodellen zu „destillieren“. Die Ergebnisse zeigen, dass in einigen Fällen die mit dieser Methode trainierten Modelle mit geringeren Rechenkosten eine ähnliche Leistung wie die ursprünglichen mehrstufigen Prozesse erreichen.
Diese „Destillations“-Methode funktioniert folgendermaßen: Zunächst wird eine mehrstufige Schlussfolgerungsmethode auf eine große Menge an Beispieldaten angewendet. Anschließend werden die Ergebnisse mit hoher Konsistenz ausgewählt und beibehalten. Schließlich werden diese Daten verwendet, um das Sprachmodell durch Feinabstimmung zu trainieren. Im Wesentlichen ermöglicht diese Methode dem Sprachmodell durch die Generierung synthetischer Trainingsdaten, direkt zu Schlussfolgerungen zu gelangen, ohne Zwischenschritte.
Bildquelle: Das Bild wurde mit KI generiert, Bildrechte: Midjourney
Die Forscher wandten diese Methode auf vier verschiedene mehrstufige Schlussfolgerungstechniken und fünf Arten von Aufgaben an. Die Ergebnisse zeigen, dass diese Methode in vielen Fällen die Modellleistung effektiv verbessert, aber nicht für alle Szenarien geeignet ist.
Beispielsweise erzielten die „destillierten“ Modelle bei Aufgaben zur Vermeidung von Verzerrungen und zur Verbesserung der Antwortqualität eine vergleichbare Leistung wie die mehrstufigen Methoden, benötigten jedoch deutlich weniger Rechenressourcen. Bei komplexen mathematischen Schlussfolgerungsaufgaben schlug diese Methode jedoch fehl. Die Forscher vermuten, dass einige Aufgaben für ein einstufiges Schlussfolgern möglicherweise zu komplex sind.
Dennoch halten die Forscher diese Methode für eine vielversprechende Richtung bei der Entwicklung leistungsfähigerer Sprachverarbeitungssysteme. Zukünftig könnte diese Methode mit anderen Techniken kombiniert werden, um sich auf wirklich herausfordernde Probleme zu konzentrieren.
Diese Studie eröffnet neue Wege zur Verbesserung der Schlussfolgerungsfähigkeit von Sprachmodellen und verspricht Durchbrüche in verschiedenen Anwendungsbereichen.