Pesquisadores do Google lançaram recentemente um novo modelo, chamado TransNAR, que combina Transformer e raciocínio algorítmico neural (NAR), alcançando desempenho excepcional em tarefas algorítmicas.
Transformers tradicionais têm deficiências no raciocínio algorítmico, enquanto o NAR se destaca no processamento de dados estruturados e possui forte capacidade de generalização. Por meio de um mecanismo de atenção cruzada, o TransNAR funde profundamente o Transformer e o NAR, permitindo que o modelo processe simultaneamente descrições de problemas algorítmicos em formato de texto e representações gráficas, resultando em uma capacidade de raciocínio algorítmico superior.
A estratégia de treinamento do TransNAR também é única, empregando um método de treinamento multi-nível. Na fase de pré-treinamento, o NAR é treinado independentemente, executando várias tarefas algorítmicas para aprender a lógica inerente e as etapas de cálculo. Já na fase de ajuste fino, o TransNAR recebe entradas duplas de descrição de texto e representação gráfica, utilizando as informações de incorporação de nós fornecidas pelo NAR pré-treinado, por meio de um mecanismo de atenção cruzada para ajustar sua própria incorporação de marcadores.
Esse processo faz com que o TransNAR tenha um desempenho em tarefas algorítmicas muito superior ao modelo Transformer base, especialmente com uma vantagem significativa na capacidade de generalização fora da distribuição, o TransNAR apresentou uma melhoria de mais de 20%.
Destaques:
⭐ O Google lança o modelo TransNAR, combinando Transformer e NAR para melhorar a capacidade de raciocínio algorítmico
⭐ O TransNAR utiliza um mecanismo de atenção cruzada, fundindo profundamente o Transformer e o NAR, com excelente desempenho em texto e representações gráficas
⭐ A estratégia de treinamento multi-nível faz com que o TransNAR seja significativamente melhor que o Transformer base em tarefas algorítmicas, especialmente no quesito capacidade de generalização