Uma nova pesquisa da Universidade de Michigan descobriu um método eficiente para treinar modelos de linguagem grandes que leva o mesmo tempo, mas reduz o consumo de energia em 30%. Este método pode economizar energia suficiente para alimentar 1,1 milhão de casas americanas até 2026.
Os pesquisadores desenvolveram uma ferramenta de software chamada Perseus que identifica os caminhos críticos, ou seja, a sequência de subtarefas que levam mais tempo para serem concluídas. Então, o Perseus reduz a velocidade do processador em caminhos não críticos, permitindo que todas as tarefas sejam concluídas ao mesmo tempo, eliminando o consumo de energia desnecessário.
A equipe testou o Perseus treinando o GPT-3, outros três modelos de linguagem grandes e um modelo de visão computacional. Os resultados mostraram que o Perseus pode reduzir o consumo de energia no treinamento de IA, mantendo a mesma velocidade de treinamento.
Os pesquisadores afirmam que este método eficiente é crucial para o uso equitativo da inteligência artificial. Se um país não tiver energia suficiente para executar modelos grandes, ele pode precisar usar serviços remotos ou executar apenas modelos menores e menos precisos. Essa disparidade pode aumentar ainda mais as diferenças entre as comunidades.
O estudo demonstra que, otimizando os métodos de treinamento de IA, é possível reduzir o consumo de energia sem afetar a velocidade de treinamento. Isso é importante para economizar energia e reduzir a pegada de carbono.
