Recentemente, pesquisadores do Meta propuseram o RA-DIT, um método de ajuste fino leve para melhorar a capacidade de recuperação de conhecimento de modelos de linguagem. Este método utiliza um ajuste fino em duas etapas: a primeira melhora a capacidade do modelo de linguagem de utilizar informações recuperadas; a segunda otimiza o mecanismo de busca para fornecer conteúdo mais relevante.
Os resultados experimentais mostram que o RA-DIT 65B supera os modelos existentes em testes de poucos exemplos e de zero-shot em tarefas de conhecimento intensivo. Ele também melhora significativamente o desempenho em tarefas que exigem alto nível de utilização de conhecimento e compreensão de contexto.
A pesquisa demonstra a eficácia do ajuste fino leve do RA-DIT para modelos de linguagem aprimorados por recuperação, especialmente em cenários que exigem acesso a fontes de conhecimento em larga escala.
