Recientemente, investigadores de Meta presentaron RA-DIT, un método de ajuste fino ligero para mejorar la capacidad de recuperación de conocimiento de los modelos de lenguaje. Este método utiliza un ajuste fino en dos etapas: la primera mejora la capacidad del modelo de lenguaje para utilizar la información recuperada, y la segunda optimiza el recuperador para proporcionar contenido más relevante.
Los resultados experimentales muestran que RA-DIT 65B supera a los modelos existentes en pruebas de pocos ejemplos y de cero ejemplos con alta densidad de conocimiento. También mejora significativamente el rendimiento en tareas que requieren un alto nivel de utilización del conocimiento y comprensión del contexto.
El estudio demuestra la eficacia de RA-DIT, un ajuste fino ligero, para los modelos de lenguaje mejorados por recuperación, especialmente en escenarios que requieren acceso a fuentes de conocimiento a gran escala.
