A Meta anunciou recentemente o lançamento do seu mais novo membro da família Llama: o Llama 3.370B. Ahmad Al-Dahle, vice-presidente de IA generativa da Meta, divulgou a notícia na plataforma X, destacando que o Llama 3.370B apresenta melhorias significativas de desempenho em comparação com o maior modelo Llama anterior da Meta, o Llama 3.1405B, além de um custo consideravelmente reduzido.
Al-Dahle afirmou que, ao utilizar as mais recentes tecnologias de treinamento, o Llama 3.370B não apenas aprimora o desempenho, mas também reduz os custos operacionais. De acordo com os resultados de testes de referência publicados pela Meta, o Llama 3.370B superou o Gemini 1.5 Pro do Google, o GPT-4 da OpenAI e o recém-lançado Nova Pro da Amazon em diversas áreas, especialmente no teste MMLU, que avalia a capacidade do modelo de compreender a linguagem.
O modelo já está disponível para download em plataformas como Hugging Face e a plataforma oficial do Llama. Essa iniciativa da Meta visa dominar o setor de IA por meio de modelos "abertos". Os modelos Llama da Meta podem ser aplicados em diversos cenários e permitem uso comercial, embora a Meta tenha imposto algumas restrições a certos desenvolvedores, exigindo licença especial para plataformas com mais de 700 milhões de usuários mensais. Apesar disso, o Llama já ultrapassou 650 milhões de downloads, demonstrando sua ampla aceitação entre desenvolvedores de IA em todo o mundo.
Para suportar o treinamento de modelos de IA ainda maiores no futuro, a Meta está investindo fortemente em infraestrutura de computação. A empresa anunciou recentemente a construção de um data center de IA de US$ 10 bilhões na Louisiana, o maior data center de IA da Meta até hoje. Mark Zuckerberg mencionou em uma teleconferência de resultados financeiros que a capacidade de computação necessária para treinar a próxima geração de modelos Llama 4 será 10 vezes maior do que a necessária para o Llama 3. A Meta já adquiriu mais de 100.000 unidades de clusters de GPU Nvidia, rivalizando com os recursos de concorrentes como a xAI.
Com o aumento constante dos custos de treinamento de modelos de IA generativa, os gastos de capital da Meta também têm apresentado tendência de crescimento. No segundo trimestre de 2024, os gastos de capital aumentaram quase 33%, atingindo US$ 8,5 bilhões. Esse crescimento é principalmente resultado dos investimentos contínuos da Meta em servidores, data centers e infraestrutura de rede.
