先日、AMDは最新のStrix Point APUシリーズを発表しました。このシリーズはAI大規模言語モデル（LLM）アプリケーションにおいて、インテルのLunar Lakeシリーズプロセッサを大きく上回る優れた性能を示すことが強調されています。AIワークロードの需要の高まりとともに、ハードウェアの競争は激化しています。この市場に対応するため、AMDはモバイルプラットフォーム向けに設計されたAIプロセッサを投入し、より高い性能と低い遅延を目指しています。

AMDによると、Strix PointシリーズのRyzen AI300プロセッサは、AI LLMタスクの処理において、毎秒処理できるトークン数を大幅に向上させます。インテルのCore Ultra 258Vと比較して、Ryzen AI9375の性能は27％向上しています。Core Ultra 7VはLunar Lakeシリーズで最速のモデルではありませんが、上位モデルに近いコア数とスレッド数を備えており、AMD製品のこの分野における競争力を示しています。

image.png

AMDのLM Studioツールは、消費者向けのアプリケーションで、llama.cppフレームワークをベースに、大規模言語モデルの使用を簡素化することを目的としています。このフレームワークはx86 CPUの性能を最適化しており、GPUがなくてもLLMを実行できますが、GPUを使用することで処理速度をさらに向上させることができます。テストによると、Ryzen AI9HX375はMeta Llama 3.21b Instructモデルにおいて、35倍低い遅延を実現し、毎秒50.7個のトークンを処理します。一方、Core Ultra 7258Vは39.9個のトークンです。

さらに、Strix Point APUは、RDNA 3.5アーキテクチャに基づく強力なRadeon統合グラフィックスを搭載しており、Vulkan APIを使用してタスクをiGPUにオフロードすることで、LLMの性能をさらに向上させます。可変グラフィックメモリ（VGM）技術を活用することで、Ryzen AI300プロセッサはメモリ割り当てを最適化し、エネルギー効率を高め、最大60％の性能向上を実現します。

比較テストでは、AMDはIntel AI Playgroundプラットフォームで同じ設定を使用して、Ryzen AI9HX375がMicrosoft Phi 3.1でCore Ultra 7258Vより87％高速であり、Mistral 7b Instruct 0.3モデルでは13％高速であることを発見しました。ただし、Lunar LakeシリーズのフラッグシップモデルであるCore Ultra 9288Vと比較した場合の結果は、さらに興味深いものとなるでしょう。現在、AMDはLM Studioを通じて大規模言語モデルの使用をより普及させることに注力しており、より多くの非技術ユーザーが簡単に使用できるようにすることを目指しています。

要点:

🌟 AMD Strix Point APUは、AI LLMアプリケーションにおいて、インテルLunar Lakeより27％性能向上。

⚡ Ryzen AI9HX375は、Meta Llama 3.2モデルで3.5倍低い遅延を実現。

🚀 LM Studioツールは、大規模言語モデルの使用を簡素化し、非技術ユーザーにも使いやすいように設計されています。