O Meta, desenvolvedor do Llama, um grande modelo de linguagem de código aberto, acredita que a capacidade computacional necessária para treinar modelos futuros aumentará significativamente.
Na teleconferência de resultados do segundo trimestre do Meta, na terça-feira, Mark Zuckerberg revelou que a capacidade computacional necessária para treinar o Llama4 será 10 vezes maior do que a necessária para treinar o Llama3. Ele enfatizou que, mesmo assim, o Meta precisa construir a capacidade de treinar modelos para não ficar atrás dos concorrentes.
Zuckerberg disse: "A quantidade de computação necessária para treinar o Llama4 pode ser quase 10 vezes maior do que para treinar o Llama3, e a quantidade de computação necessária para modelos futuros continuará a aumentar." Ele também apontou que é difícil prever a tendência de desenvolvimento de modelos de várias gerações no futuro, mas prefere construir a capacidade necessária com antecedência, em vez de se atrasar, afinal, levará muito tempo para iniciar novos projetos de raciocínio.
Em abril deste ano, o Meta lançou o Llama3, com 80 bilhões de parâmetros. Na semana passada, a empresa lançou sua versão atualizada, Llama3.1405B, com 405 bilhões de parâmetros, tornando-se o maior modelo de código aberto do Meta.
Susan Li, diretora financeira do Meta, também disse que a empresa está considerando diferentes projetos de data centers e está construindo capacidade para treinar modelos de IA futuros. Ela disse que o Meta espera que esse investimento aumente o gasto de capital em 2025.
Afinal, treinar grandes modelos de linguagem é um negócio caro. No segundo trimestre de 2024, o gasto de capital do Meta aumentou de US$ 6,4 bilhões para US$ 8,5 bilhões em relação ao ano anterior, um aumento de quase 33%, impulsionado por investimentos em servidores, data centers e infraestrutura de rede.
Destaques:
🎯A capacidade computacional necessária para o Meta treinar o Llama4 é cerca de 10 vezes maior do que a necessária para treinar o Llama3.
🎯O Meta espera que o investimento na construção de capacidade aumente o gasto de capital em 2025.
🎯Treinar grandes modelos de linguagem é caro, e o gasto de capital do Meta aumentou significativamente no segundo trimestre.
