Recentemente, a AMD lançou sua mais recente série de APUs Strix Point, destacando seu desempenho excepcional em aplicações de modelos de linguagem grandes de IA (LLM), superando em muito a série de processadores Lunar Lake da Intel. Com o crescimento contínuo da demanda por cargas de trabalho de IA, a competição de hardware está se tornando cada vez mais acirrada. Para atender ao mercado, a AMD lançou um processador de IA projetado para plataformas móveis, com o objetivo de alcançar maior desempenho e menor latência.
A AMD afirma que o processador Ryzen AI300 da série Strix Point consegue aumentar significativamente o número de tokens processados por segundo em tarefas de IA LLM. Em comparação com o Intel Core Ultra 258V, o Ryzen AI9375 apresenta uma melhoria de desempenho de 27%. Embora o Core Ultra 7V não seja o modelo mais rápido da série L Lake, seu número de núcleos e threads se aproxima dos processadores Lunar Lake de gama mais alta, demonstrando a competitividade dos produtos AMD nesse setor.
A ferramenta LM Studio da AMD, um aplicativo voltado para o consumidor, baseada na estrutura llama.cpp, visa simplificar o uso de modelos de linguagem grandes. Essa estrutura otimiza o desempenho da CPU x86. Embora não seja necessário um GPU para executar o LLM, o uso de uma GPU pode acelerar ainda mais a velocidade de processamento. De acordo com os testes, o Ryzen AI9HX375 no modelo Meta Llama 3.21b Instruct alcança uma latência 35 vezes menor, processando 50,7 tokens por segundo, enquanto o Core Ultra 7258V processa apenas 39,9 tokens.
Além disso, a APU Strix Point possui uma poderosa placa gráfica integrada Radeon baseada na arquitetura RDNA 3.5. Através da API Vulkan, as tarefas são descarregadas para a iGPU, melhorando ainda mais o desempenho do LLM. Usando a tecnologia de gerenciamento de memória virtual (VGM), o processador Ryzen AI300 pode otimizar a alocação de memória, melhorar a eficiência energética e alcançar até 60% de aumento de desempenho.
Em testes comparativos, a AMD, usando as mesmas configurações na plataforma Intel AI Playground, descobriu que o Ryzen AI9HX375 é 87% mais rápido que o Core Ultra 7258V no Microsoft Phi 3.1 e 13% mais rápido no modelo Mistral 7b Instruct 0.3. No entanto, uma comparação com o produto principal da série Lunar Lake, o Core Ultra 9288V, seria ainda mais interessante. Atualmente, a AMD está focada em tornar o uso de modelos de linguagem grandes mais acessível por meio do LM Studio, com o objetivo de facilitar o acesso a usuários não técnicos.
Destaques:
🌟 As APUs AMD Strix Point oferecem uma melhoria de desempenho de 27% em aplicações de IA LLM em comparação com a Intel Lunar Lake.
⚡ O Ryzen AI9HX375 apresenta uma latência 3,5 vezes menor no modelo Meta Llama 3.2.
🚀 A ferramenta LM Studio visa simplificar o uso de modelos de linguagem grandes, tornando-os acessíveis a usuários não técnicos.