O Meta deu um passo importante em direção à melhoria da eficiência da inteligência artificial. Nesta quarta-feira, a gigante de tecnologia lançou modelos pré-treinados que utilizam um novo método de previsão de múltiplos tokens (multi-token-prediction), que pode mudar a maneira como os grandes modelos de linguagem (LLMs) são desenvolvidos e implantados.
Acesso ao projeto: https://top.aibase.com/tool/multi-token-prediction
Essa nova tecnologia, apresentada pela primeira vez em um artigo de pesquisa do Meta em abril deste ano, difere dos métodos tradicionais de treinamento de LLMs que preveem apenas a próxima palavra em uma sequência. O método do Meta exige que o modelo preveja várias palavras futuras simultaneamente, o que promete melhorar o desempenho e reduzir significativamente o tempo de treinamento.
O método de previsão de múltiplos tokens do Meta pode oferecer uma maneira de conter essa tendência, tornando a IA avançada mais acessível e sustentável.
O potencial desse novo método não se limita à melhoria da eficiência. Ao prever vários tokens simultaneamente, esses modelos podem desenvolver uma compreensão mais sofisticada da estrutura e do contexto da linguagem. Isso pode melhorar tarefas que vão da geração de código à escrita criativa, potencialmente reduzindo a lacuna entre a IA e a compreensão da linguagem em nível humano.
O Meta lançou esses modelos no Hugging Face sob uma licença de pesquisa não comercial, alinhado com o compromisso da empresa com a ciência aberta. Mas também é uma jogada estratégica em um campo de IA cada vez mais competitivo; a abertura pode acelerar a inovação e a aquisição de talentos.
A versão inicial concentra-se em tarefas de conclusão de código, uma escolha que reflete o crescimento do mercado de ferramentas de programação assistida por IA. À medida que o desenvolvimento de software se torna cada vez mais interligado à IA, a contribuição do Meta pode acelerar a tendência de codificação colaborativa entre humanos e máquinas.