Kürzlich haben Meta-Forscher die leichtgewichtige Feinabstimmungsmethode RA-DIT vorgestellt, um die Wissensabrufkfähigkeit von Sprachmodellen zu verbessern. Diese Methode verwendet eine zweistufige Optimierung: Erstens wird die Fähigkeit des Sprachmodells verbessert, Suchergebnisse zu nutzen, und zweitens wird der Suchalgorithmus optimiert, um relevantere Inhalte bereitzustellen.
Die Ergebnisse zeigen, dass RA-DIT 65B in wissensintensiven Zero-Shot- und Few-Shot-Tests bestehende Modelle übertrifft. Es verbessert auch deutlich die Leistung bei Aufgaben, die eine hohe Wissensnutzung und ein gutes Kontextverständnis erfordern.
Die Studie belegt die Effektivität der leichtgewichtigen Feinabstimmung von RA-DIT für retrieval-augmented language models, insbesondere in Szenarien, die den Zugriff auf umfangreiche Wissensquellen erfordern.