Nvidiaの研究チームは、モデルプルーニングと知識蒸留技術を用いて、Llama 3の圧縮版であるLlama-3.1-Minitron4Bを発表しました。これは、デバイス上でのAIを実現することを目的とした、わずか4億パラメーターのモデルです。深度プルーニングと幅方向プルーニング技術により、元の80億パラメーターのモデルから大幅にパラメーター数を削減しながら、大規模モデルに匹敵する性能を維持しています。トレーニングデータ量が大幅に削減（40倍）されたにも関わらず、MMLUベンチマークテストにおいて16％の性能向上を実現しました。この成果はNVIDIAのNe…

NVIDIAは最近、4Bと8Bのバリアントを含むMinitronシリーズの小型言語モデルを発表しました。トレーニング速度が最大40倍に向上し、リソースとデータの要件が大幅に削減され、コストが削減されます。「プルーニング」と「知識蒸留」技術を組み合わせることで、Minitronモデルは性能を維持しながらサイズを縮小し、開発者は翻訳、感情分析、対話型AIなどのアプリケーションで高度な技術をより低コストで利用できるようになります。Minitronモデルはオープンソースであるため、より多くの人が簡単にアクセスして使用できます。