Recientemente, AMD lanzó su última serie de APU Strix Point, destacando su excelente rendimiento en aplicaciones de modelos de lenguaje grande de IA (LLM), superando con creces a la serie de procesadores Lunar Lake de Intel. La creciente demanda de cargas de trabajo de IA está intensificando la competencia en el hardware. Para responder a las demandas del mercado, AMD ha presentado un procesador de IA diseñado para plataformas móviles, con el objetivo de lograr un mayor rendimiento y una menor latencia.
AMD afirma que el procesador Ryzen AI300 de la serie Strix Point puede aumentar significativamente la cantidad de tokens procesados por segundo en tareas de IA LLM. En comparación con el Intel Core Ultra 258V, el Ryzen AI9375 muestra una mejora de rendimiento del 27%. Si bien el Core Ultra 7V no es el modelo más rápido de la serie Lunar Lake, su número de núcleos e hilos se acerca a los procesadores Lunar Lake de gama alta, lo que demuestra la competitividad de los productos AMD en este ámbito.
La herramienta LM Studio de AMD, una aplicación orientada al consumidor basada en el framework llama.cpp, tiene como objetivo simplificar el uso de modelos de lenguaje grande. Este framework optimiza el rendimiento de las CPU x86. Aunque no necesita una GPU para ejecutar LLM, el uso de una GPU puede acelerar aún más el procesamiento. Según las pruebas, el Ryzen AI9HX375 en el modelo Meta Llama 3.2b Instruct logró una latencia 35 veces menor, procesando 50.7 tokens por segundo, mientras que el Core Ultra 7258V solo alcanzó 39.9 tokens por segundo.
Además, la APU Strix Point está equipada con una potente tarjeta gráfica integrada Radeon basada en la arquitectura RDNA3.5. Mediante la API Vulkan, descarga tareas a la iGPU, mejorando aún más el rendimiento de LLM. Utilizando la tecnología de gestión de memoria gráfica variable (VGM), el procesador Ryzen AI300 puede optimizar la asignación de memoria, mejorando la eficiencia energética y logrando una mejora de rendimiento de hasta el 60%.
En las pruebas comparativas, AMD, utilizando la misma configuración en la plataforma Intel AI Playground, descubrió que el Ryzen AI9HX375 era un 87% más rápido que el Core Ultra 7258V en Microsoft Phi 3.1 y un 13% más rápido en el modelo Mistral 7b Instruct 0.3. Sin embargo, una comparación con el producto estrella de la serie Lunar Lake, el Core Ultra 9288V, sería aún más interesante. Actualmente, AMD se centra en popularizar el uso de modelos de lenguaje grande a través de LM Studio, con el objetivo de facilitar su acceso a usuarios no técnicos.
Puntos clave:
🌟 Las APU AMD Strix Point ofrecen una mejora del rendimiento del 27% en aplicaciones de IA LLM en comparación con Intel Lunar Lake.
⚡ El Ryzen AI9HX375 muestra una latencia 3.5 veces menor en el modelo Meta Llama 3.2.
🚀 La herramienta LM Studio tiene como objetivo simplificar el uso de modelos de lenguaje grande para usuarios no técnicos.