En la conferencia AWS re:Invent 2024, Amazon Web Services (AWS) anunció el lanzamiento de las instancias de Amazon Elastic Compute Cloud (EC2) basadas en el chip Trainium2, disponibles oficialmente para los usuarios. Estas nuevas instancias ofrecen una mejora del 30-40% en rendimiento por precio en comparación con las instancias EC2 basadas en GPU de la generación anterior. El CEO de AWS, Adam Selipsky, declaró: "Me complace anunciar el lanzamiento oficial de las instancias Amazon EC2 Trn2 impulsadas por Trainium2."
Además de las instancias Trn2, AWS también presentó los Trn2UltraServers y mostró el chip Trainium3 de próxima generación. Las instancias Trn2, equipadas con 16 chips Trainium2, ofrecen un rendimiento de cálculo de hasta 20,8 petaflops, diseñadas específicamente para el entrenamiento e implementación de grandes modelos de lenguaje (LLM) con miles de millones de parámetros.
Los Trn2UltraServers combinan cuatro servidores Trn2 en un solo sistema, proporcionando hasta 83,2 petaflops de capacidad de cálculo para una mayor escalabilidad. Estos UltraServers cuentan con 64 chips Trainium2 interconectados, capaces de satisfacer las demandas de capacidad de cálculo de los clientes durante el entrenamiento y la inferencia. David Brown, vicepresidente de Computación y Redes de AWS, comentó: "El lanzamiento de las instancias Trainium2 y los Trn2UltraServers proporciona a los clientes la capacidad de cálculo necesaria para abordar los modelos de IA más complejos."
AWS colaboró con Anthropic para lanzar Project Rainier, un clúster de computación de IA a gran escala que utiliza cientos de miles de chips Trainium2. Esta infraestructura apoyará el desarrollo de Anthropic, incluyendo la optimización de su producto estrella, Claude, para que funcione con el hardware Trainium2.
Además, Databricks y Hugging Face también se asociaron con AWS para aprovechar la potencia de Trainium y mejorar el rendimiento y la eficiencia de costos de sus productos de IA. Databricks planea utilizar este hardware para mejorar su plataforma Mosaic AI, mientras que Hugging Face integrará Trainium2 en sus herramientas de desarrollo e implementación de IA.
Otros clientes de Trainium2 incluyen Adobe, Poolside y Qualcomm. Selipsky mencionó que las pruebas iniciales de Adobe con Trainium2 para el modelo de inferencia de Firefly fueron muy satisfactorias y se espera un ahorro significativo. "Poolside espera ahorrar un 40% en comparación con otras opciones", añadió. "Qualcomm está utilizando Trainium2 para desarrollar sistemas de IA que se pueden entrenar en la nube e implementar en el perímetro."
Además, AWS anunció su chip Trainium3, fabricado con un proceso de 3 nanómetros. Se espera que los UltraServers basados en Trainium3 se lancen a finales de 2025, con el objetivo de ofrecer cuatro veces más rendimiento que los Trn2UltraServers.
Para optimizar el uso del hardware Trainium, AWS también lanzó Neuron SDK, un conjunto de herramientas de software que ayuda a los desarrolladores a optimizar los modelos para lograr el mejor rendimiento en los chips Trainium. El SDK admite frameworks como JAX y PyTorch, permitiendo a los clientes integrar el software en sus flujos de trabajo existentes con modificaciones mínimas de código.
Actualmente, las instancias Trn2 están disponibles en la región de EE. UU. Este (Ohio), y se expandirán a otras regiones en el futuro. Los UltraServers se encuentran actualmente en fase de vista previa.
Resumen:
🌟 Las instancias Trainium2 de AWS ofrecen una mejora de rendimiento del 30-40% en comparación con las instancias de GPU anteriores.
💡 Los Trn2UltraServers combinan múltiples servidores Trn2, proporcionando una mayor capacidad de cálculo para satisfacer las necesidades de los grandes modelos de IA.
🚀 AWS colabora con varias empresas para impulsar la aplicación de la tecnología de IA, ayudando a los clientes a obtener ventajas en términos de costo y rendimiento.