Estudos recentes descobriram que os grandes modelos de linguagem (LLMs) são afetados pela ordem de apresentação das informações de premissa em tarefas de raciocínio lógico. A alteração da ordem pode levar a uma diminuição do desempenho. Pesquisadores do Google DeepMind e da Universidade de Stanford apontam que a apresentação das premissas em ordem lógica natural pode melhorar o desempenho do modelo. Para modelos como LLMs, alterar a ordem das premissas resulta em queda de desempenho, exigindo mais pesquisas para solucionar esse problema. A ordem das premissas tem um impacto significativo no desempenho de raciocínio dos grandes modelos de linguagem e continua sendo um desafio. Modelos como Gemini e GPT-4 apresentam falhas significativas, com uma queda acentuada no desempenho do LLM.
Falha na Razão Lógica! GPT-4 e Gemini Exibem Falhas Graves, Queda de Inteligência em LLMs
