Kürzlich hat ein Forschungsteam von Google DeepMind in Zusammenarbeit mit mehreren Universitäten eine neue Methode namens GenRM (Generative Reward Model) vorgestellt, die darauf abzielt, die Genauigkeit und Zuverlässigkeit generativer KI bei Inferenzaufgaben zu verbessern.
Generative KI wird in vielen Bereichen, darunter die Verarbeitung natürlicher Sprache, eingesetzt. Sie generiert zusammenhängende Texte, indem sie das nächste Wort in einer Reihe von Wörtern vorhersagt. Diese Modelle geben jedoch manchmal selbstbewusst falsche Informationen aus, was insbesondere in Bereichen wie Bildung, Finanzen und Medizin, wo höchste Genauigkeit erforderlich ist, ein großes Problem darstellt.
Forscher haben verschiedene Lösungen für die Genauigkeitsprobleme generativer KI-Modelle ausprobiert. Diskriminative Reward Models (RMs) bewerten potenzielle Antworten anhand von Punktzahlen, nutzen aber die generativen Fähigkeiten großer Sprachmodelle (LLMs) nicht ausreichend. Eine andere gängige Methode ist die Verwendung von LLMs als Bewerter, die bei komplexen Inferenzaufgaben jedoch oft weniger effektiv als spezialisierte Validatoren sind.
Die Innovation von GenRM liegt in der Neudefinition des Validierungsprozesses als Vorhersageaufgabe für das nächste Wort. Im Gegensatz zu traditionellen diskriminativen Reward Models integriert GenRM die Textgenerierungsfähigkeit von LLMs in den Validierungsprozess, sodass das Modell potenzielle Lösungen gleichzeitig generieren und bewerten kann. Darüber hinaus unterstützt GenRM Chain-of-Thought (CoT), d. h. das Modell kann Zwischenschritte in der Argumentation generieren, bevor es zu einer endgültigen Schlussfolgerung gelangt, wodurch der Validierungsprozess umfassender und systematischer wird.
Durch die Kombination von Generierung und Validierung verwendet GenRM eine einheitliche Trainingsstrategie, die es dem Modell ermöglicht, sowohl die Generierungs- als auch die Validierungsfähigkeit während des Trainings zu verbessern. In der Praxis generiert das Modell Zwischenschritte in der Argumentation, die zur Überprüfung der endgültigen Antwort verwendet werden.
GenRM zeigte in mehreren strengen Tests hervorragende Ergebnisse. Bei Aufgaben wie Vorschulmathematik und algorithmischer Problemlösung erzielte GenRM eine deutlich höhere Genauigkeit. Im Vergleich zu diskriminativen Reward Models und der Verwendung von LLMs als Bewerter verbesserte GenRM die Erfolgsrate bei der Problemlösung um 16 % bis 64 %.
Beispielsweise verbesserte GenRM die Erfolgsrate bei der Überprüfung der Ausgabe des Gemini1.0Pro-Modells von 73 % auf 92,8 %.
GenRM stellt einen großen Fortschritt im Bereich der generativen KI dar. Durch die Vereinheitlichung von Lösungsgenerierung und -validierung werden die Genauigkeit und Zuverlässigkeit von KI-generierten Lösungen deutlich verbessert.
Wichtigste Punkte:
1. 🌟 GenRM verbessert die Inferenzfähigkeit generativer KI, indem der Validierungsprozess als Vorhersageaufgabe für das nächste Wort neu definiert wird.
2. 📈 GenRM erzielte in mehreren Tests hervorragende Ergebnisse und verbesserte die Genauigkeit gegenüber traditionellen Methoden um 16 % bis 64 %.
3. 🧠 Diese Methode integriert Generierung und Validierung und verbessert das Anwendungspotenzial von KI in risikoreichen Bereichen.