Modelos de linguagem grandes têm demonstrado excelente desempenho em muitas tarefas, mas sua capacidade de raciocínio tem sido objeto de debate. Pesquisadores do Meta publicaram recentemente um artigo demonstrando como eles usaram um modelo Transformer para resolver um problema de longa data na matemática: a descoberta de funções de Lyapunov globais para sistemas dinâmicos.
Funções de Lyapunov podem determinar a estabilidade de um sistema dinâmico. Por exemplo, elas podem ser usadas para prever a estabilidade a longo prazo do problema de três corpos, ou seja, a trajetória de movimento a longo prazo de três corpos celestes sob a influência gravitacional. No entanto, ainda não existe um método universal para derivar funções de Lyapunov, e apenas um pequeno número de sistemas têm suas funções correspondentes conhecidas.
Para resolver esse problema, os pesquisadores do Meta treinaram um modelo Transformer sequencial para prever a função de Lyapunov de um sistema dado. Eles usaram inovadoramente um método de "geração inversa" para criar um grande conjunto de dados de treinamento contendo sistemas dinâmicos estáveis e suas funções de Lyapunov correspondentes.
O método tradicional de "geração direta" parte de sistemas gerados aleatoriamente e tenta calcular suas funções de Lyapunov. Esse método é ineficiente e só pode lidar com sistemas simples de tipos específicos. O método de "geração inversa", por outro lado, gera primeiro uma função de Lyapunov aleatoriamente e depois constrói um sistema estável correspondente, contornando assim a dificuldade de calcular a função de Lyapunov e gerando dados de treinamento mais diversos.
Os pesquisadores descobriram que o modelo Transformer treinado no conjunto de dados de "geração inversa" atingiu uma precisão quase perfeita (99%) no conjunto de teste e também teve um bom desempenho no conjunto de teste fora da distribuição (73%). Mais surpreendente ainda, adicionando apenas uma pequena quantidade (300) de exemplos simples de "geração direta" ao conjunto de treinamento, a precisão do modelo pode ser ainda mais melhorada para 84%, o que mostra que mesmo um pequeno número de soluções conhecidas pode melhorar significativamente a capacidade de generalização do modelo.
Para testar a capacidade do modelo de descobrir novas funções de Lyapunov, os pesquisadores geraram dezenas de milhares de sistemas aleatórios e usaram o modelo para fazer previsões. Os resultados mostraram que a taxa de sucesso do modelo em encontrar funções de Lyapunov em sistemas polinomiais é dez vezes maior do que a dos métodos de ponta existentes, e ele também pode descobrir funções de Lyapunov em sistemas não polinomiais, algo que nenhum algoritmo atual consegue fazer.
Os pesquisadores também compararam o modelo com matemáticos humanos. Eles convidaram 25 alunos de mestrado em matemática para um teste, e os resultados mostraram que a precisão do modelo era muito maior do que a dos humanos.
Esta pesquisa mostra que os modelos Transformer podem ser treinados para resolver problemas complexos de raciocínio matemático e que o método de "geração inversa" pode criar conjuntos de dados de treinamento eficazes, superando as limitações dos métodos tradicionais. No futuro, os pesquisadores planejam aplicar este método a outros problemas matemáticos e explorar mais possibilidades da IA na descoberta científica.
Endereço do artigo: https://arxiv.org/pdf/2410.08304
