Récemment, des chercheurs de Meta ont proposé RA-DIT, une méthode d'ajustement léger pour améliorer les capacités de recherche d'informations des modèles linguistiques. Cette méthode s'appuie sur un ajustement en deux étapes : la première vise à améliorer la capacité du modèle linguistique à utiliser les informations récupérées, et la seconde vise à optimiser le système de recherche pour qu'il fournisse des informations plus pertinentes.
Les résultats expérimentaux montrent que RA-DIT 65B surpasse les modèles existants dans les tests à données zéro-shot et peu-shot nécessitant des connaissances approfondies. Il améliore également de manière significative les performances sur les tâches exigeant une forte utilisation des connaissances et une bonne compréhension du contexte.
Cette étude démontre l'efficacité de RA-DIT, un ajustement léger, pour les modèles linguistiques améliorés par la recherche, en particulier dans les scénarios nécessitant l'accès à des sources de connaissances à grande échelle.
