Com o rápido desenvolvimento da IA generativa, a crença tradicional de que "maior é melhor" está mudando no setor. Vários cientistas de IA de ponta afirmaram recentemente que o método de melhorar o desempenho da IA simplesmente aumentando a quantidade de dados e poder computacional está se aproximando de um gargalo, e novas direções de avanços tecnológicos estão surgindo.
Ilya Sutskever, cofundador da Safe Superintelligence e da OpenAI, publicou recentemente sua opinião de que os métodos tradicionais de pré-treinamento entraram em uma fase de platô de desempenho. Essa declaração é particularmente notável, pois foi ele quem inicialmente defendeu os métodos de pré-treinamento em larga escala que deram origem ao ChatGPT. Agora, ele diz que o campo da IA passou da "era da expansão de escala" para a "era dos milagres e descobertas".
O treinamento de grandes modelos atualmente enfrenta vários desafios: custos de treinamento que chegam a dezenas de milhões de dólares, riscos de falhas de hardware devido à complexidade do sistema, longos ciclos de teste e restrições de recursos de dados e fornecimento de energia. Esses problemas levaram os pesquisadores a explorar novos caminhos tecnológicos.
Entre eles, a tecnologia de "cálculo em tempo de teste" (test-time compute) está recebendo muita atenção. Este método permite que o modelo de IA gere e avalie várias opções em tempo real durante o uso, em vez de fornecer uma única resposta diretamente. Noam Brown, pesquisador da OpenAI, usou uma analogia vívida: permitir que a IA pense por 20 segundos em um jogo de cartas tem o mesmo efeito que aumentar o tamanho do modelo e o tempo de treinamento em 100.000 vezes.
Atualmente, vários laboratórios de IA de ponta, incluindo OpenAI, Anthropic, xAI e DeepMind, estão ativamente desenvolvendo suas próprias versões da tecnologia. A OpenAI já aplicou essa tecnologia em seu mais recente modelo "o1", e o diretor de produto Kevin Weil disse que, por meio desses métodos inovadores, eles viram muitas oportunidades para melhorar o desempenho do modelo.
Especialistas do setor acreditam que essa mudança na direção tecnológica pode remodelar todo o cenário competitivo do setor de IA e mudar fundamentalmente a estrutura de demanda das empresas de IA por vários recursos. Isso marca a entrada do desenvolvimento da IA em uma nova fase que se concentra mais na melhoria da qualidade do que na simples expansão de escala.
