Recentemente, a xAI, empresa de Elon Musk, alcançou um avanço tecnológico impressionante com o lançamento de seu sistema de treinamento de inteligência artificial chamado "Colossus".
O núcleo deste sistema consiste em incríveis 100.000 GPUs H100 da Nvidia, marcando mais um importante progresso da xAI no campo da IA.
Musk compartilhou a notícia na plataforma X (antigo Twitter) na segunda-feira, afirmando que o Colossus é o "sistema de treinamento de IA mais poderoso do mundo". Isso significa que o desempenho do Colossus pode até superar o supercomputador Aurora do Departamento de Energia dos EUA, que atingiu a impressionante velocidade de 10,6 exaflops em um teste de referência.
A potência do Colossus é principalmente atribuída às suas GPUs. A GPU H100 da Nvidia, lançada em 2022, tem sido considerada a processadora de IA mais avançada.
Esta GPU é 30 vezes mais rápida que as GPUs anteriores na execução de modelos de linguagem, especialmente em tarefas baseadas na arquitetura de rede neural Transformer.
Para aumentar ainda mais o desempenho do Colossus, Musk planeja dobrar o número de placas gráficas para 200.000 nos próximos meses, incluindo 50.000 GPUs H200 de nova geração.
A GPU H200 apresenta uma melhoria significativa na velocidade de transferência de dados em comparação com a H100, o que aumentará consideravelmente a eficiência de operação dos modelos de IA. Para a xAI, essa atualização tecnológica significa que eles podem desenvolver modelos de linguagem ainda mais poderosos.
Na verdade, o produto principal da xAI, o Grok-2, foi treinado em 15.000 GPUs. Agora, a poderosa capacidade de computação do Colossus significa que o desenvolvimento de suas versões subsequentes será muito mais suave. A xAI planeja lançar o sucessor do Grok-2 até o final do ano.
Vale ressaltar que algumas GPUs de servidor do Colossus eram originalmente reservadas para a Tesla. De acordo com reportagens anteriores, Musk solicitou à Nvidia a transferência de 12.000 GPUs H100, no valor de mais de US$ 500 milhões, para a xAI.
Espera-se que até o final do ano, os gastos da Tesla em hardware da Nvidia cheguem a US$ 3 bilhões a US$ 4 bilhões, mostrando a ambição de Musk nos setores de IA e veículos elétricos.
Destaques:
🌟 O sistema "Colossus" da xAI é equipado com 100.000 GPUs H100 da Nvidia, sendo considerado o sistema de treinamento de IA mais poderoso do mundo.
🚀 Musk planeja dobrar o número de GPUs do Colossus para 200.000 em alguns meses, incluindo 50.000 GPUs H200 da nova geração.
💡 O Colossus fornecerá suporte computacional poderoso para o sucessor do modelo de linguagem grande principal da xAI, o Grok-2, previsto para lançamento até o final do ano.