ICSFSurvey

Estudo aprofundado da consistência interna e do feedback automático em modelos de linguagem de grande escala

Produto ComumProgramaçãoConsistência InternaFeedback Automático

O ICSFSurvey é uma pesquisa sobre a consistência interna e o feedback automático em modelos de linguagem de grande escala (LLMs). Ele oferece uma visão unificada da autoavaliação e dos mecanismos de autoatualização dos LLMs, incluindo estrutura teórica, classificação de sistemas, métodos de avaliação e direções futuras de pesquisa.

Fornecer uma estrutura teórica para a consistência interna
explicando as lacunas de raciocínio e os fenômenos de alucinação em LLMs.
Apresentar mecanismos de feedback automático
incluindo autoavaliação e autoatualização
para aprimorar as respostas do modelo ou o próprio modelo.
Realizar um estudo de classificação sistemática
categorizando de acordo com as tarefas e linhas de trabalho dos mecanismos de feedback automático.
Resumir os métodos de avaliação e testes de referência usados para avaliar a eficácia do feedback automático.
Discutir pontos-chave
como se o feedback automático é realmente eficaz

Este produto é adequado para pesquisadores
desenvolvedores e profissionais interessados em mecanismos de autoavaliação e autoatualização de modelos de linguagem de grande escala. Ele fornece uma perspectiva e recursos aprofundados para entender e melhorar os LLMs.

Pesquisadores usam o ICSFSurvey para compreender os mecanismos internos dos LLMs e projetar estratégias de melhoria.
Desenvolvedores utilizam o código e os dados desta pesquisa para desenvolver novas ferramentas de avaliação de LLMs.
Educadores podem usar o ICSFSurvey como material didático para ajudar os alunos a entender conceitos avançados de LLMs.

Acesse a página do GitHub para obter uma visão geral e recursos do ICSFSurvey.
Leia o arquivo README.md para obter instruções sobre como usar e contribuir com recursos.
Explore as pastas code/
data/
figures/