Na Universidade da Pensilvânia, o professor de matemática Robert Ghrist está envolvido em uma interessante "disputa de inteligência" com um modelo de IA chamado GPT-o1-mini. Enquanto tentava deduzir uma generalização mais complexa do teorema da dualidade do gargalo, o professor passou por inúmeras oscilações entre otimismo e frustração.
Ghrist tentou usar vários modelos de IA conhecidos, incluindo GPT-4, Claude-3.5 e Gemini-1.5-Pro. Embora esses modelos pudessem fazer algumas suposições e fornecer evidências, eles frequentemente "falhavam" devido a erros sutis, o que deixou Ghrist bastante frustrado. Finalmente, ele alcançou um avanço com o modelo GPT-o1-mini da OpenAI. Este modelo não apenas analisou uma prova defeituosa e encontrou o erro, mas também gerou uma "prova correta, nova e engenhosa" em apenas 43 segundos, com uma elegância que superou a versão humana.
Nota da imagem: Imagem gerada por IA, provedor de serviços de licenciamento de imagens Midjourney
O GPT-o1-mini se destacou em tarefas lógicas, empregando a técnica de raciocínio em cadeia. Embora tenha superado os modelos de linguagem tradicionais em testes de referência de lógica e planejamento, ainda existe a possibilidade de erros. A conclusão de Ghrist sobre essa experiência foi: "O resultado está exatamente na fronteira do que os modelos de linguagem grandes (LLMs) podem provar." Ele explicou que identificar os padrões de falha do modelo foi crucial para este experimento.
Apesar do sucesso, Ghrist admite que usar IA não foi necessariamente mais rápido do que fazer tudo sozinho. Ele até disse que, com a ajuda desses modelos, o resultado final do artigo foi ainda melhor. Seu artigo inclui um apêndice que detalha o papel dos modelos de IA nos resultados.
No entanto, as coisas nem sempre foram fáceis. Pouco depois da publicação do artigo, outro matemático, Sridhar Ramesh, apontou nas redes sociais que a prova poderia ser facilmente concluída usando um teorema de Birkhoff, o que surpreendeu Ghrist. Ele brincou admitindo: "A humanidade venceu..." Essa colaboração com a IA, embora tenha produzido resultados, também o fez perceber que, às vezes, a inteligência humana é a solução mais eficaz.