Na AWS re:Invent 2024, a Amazon Web Services (AWS) anunciou o lançamento de instâncias Amazon Elastic Compute Cloud (EC2) baseadas no chip Trainium2, disponibilizando-as oficialmente para os usuários. Essas novas instâncias oferecem uma melhoria de 30% a 40% no custo-benefício em comparação com as instâncias EC2 baseadas em GPU da geração anterior. O CEO da AWS, Adam Selipsky, declarou: "Estou muito feliz em anunciar o lançamento oficial das instâncias Amazon EC2 Trn2 impulsionadas pelo Trainium2."
Além das instâncias Trn2, a AWS também lançou os Trn2UltraServers e apresentou o chip Trainium3 de próxima geração. As instâncias Trn2 são equipadas com 16 chips Trainium2, capazes de fornecer até 20,8 petaflops de desempenho computacional, projetadas para treinamento e implantação de grandes modelos de linguagem (LLM) com bilhões de parâmetros.
Os Trn2UltraServers combinam quatro servidores Trn2 em um único sistema, oferecendo até 83,2 petaflops de capacidade computacional para maior escalabilidade. Esses UltraServers possuem 64 chips Trainium2 interconectados, atendendo às necessidades de capacidade computacional dos clientes durante o treinamento e a inferência. David Brown, vice-presidente de Computação e Rede da AWS, afirmou: "O lançamento das instâncias Trainium2 e dos Trn2UltraServers fornece aos clientes a capacidade computacional necessária para resolver os modelos de IA mais complexos."
A AWS, em parceria com a Anthropic, lançou o Project Rainier, um cluster de computação de IA em grande escala que utiliza centenas de milhares de chips Trainium2. Essa infraestrutura apoiará o desenvolvimento da Anthropic, incluindo a otimização de seu produto principal, o Claude, para rodar no hardware Trainium2.
Além disso, a Databricks e a Hugging Face também estão colaborando com a AWS, utilizando a capacidade do Trainium para melhorar o desempenho e a eficiência de custo de seus produtos de IA. A Databricks planeja usar esse hardware para aprimorar sua plataforma Mosaic AI, enquanto a Hugging Face integrará o Trainium2 em suas ferramentas de desenvolvimento e implantação de IA.
Outros clientes do Trainium2 incluem Adobe, Poolside e Qualcomm. Selipsky mencionou que os testes iniciais da Adobe usando o Trainium2 para o modelo de inferência do Firefly foram muito satisfatórios, com expectativa de grandes economias. "A Poolside espera economizar 40% em comparação com outras opções", acrescentou ele. "A Qualcomm está usando o Trainium2 para desenvolver sistemas de IA que podem ser treinados na nuvem e implantados na borda."
Além disso, a AWS anunciou seu chip Trainium3, fabricado com processo de 3 nanômetros. Os UltraServers baseados no Trainium3 devem ser lançados até o final de 2025, com o objetivo de oferecer quatro vezes mais desempenho que os Trn2UltraServers.
Para otimizar o uso do hardware Trainium, a AWS também lançou o Neuron SDK, um conjunto de ferramentas de software que ajuda os desenvolvedores a otimizar modelos para obter o melhor desempenho nos chips Trainium. O SDK suporta frameworks como JAX e PyTorch, permitindo que os clientes integrem o software em seus fluxos de trabalho existentes com modificações mínimas de código.
Atualmente, as instâncias Trn2 estão disponíveis na região Leste dos EUA (Ohio), com expansão para outras regiões no futuro. Os UltraServers estão atualmente em fase de prévia.
Destaques:
🌟 As instâncias Trainium2 da AWS oferecem uma melhoria de desempenho de 30% a 40% em comparação com as instâncias de GPU antigas.
💡 Os Trn2UltraServers combinam vários servidores Trn2, fornecendo maior capacidade computacional para atender às necessidades de grandes modelos de IA.
🚀 A AWS está colaborando com várias empresas para impulsionar a aplicação da tecnologia de IA, ajudando os clientes a obter vantagens em termos de custo e desempenho.