マイクロソフトは最近、Hugging FaceプラットフォームでPhi-4という小型言語モデルを発表しました。このモデルのパラメータ数はわずか140億ですが、複数の性能テストで優れたパフォーマンスを示し、OpenAIのGPT-4oやQwen2.5、Llama-3.1などの著名なモデルを上回っています。以前行われたアメリカ数学コンテストAMCのテストでは、Phi-4は91.8点を獲得し、Gemini Pro1を大きく上回りました。

UAE政府が支援する技術革新研究所（TII）は先日、次世代オープンソース小型言語モデル（SLM）であるFalcon3シリーズを発表しました。このシリーズには、1B、3B、7B、10Bの4つの異なる規模のモデルが含まれており、ベースバージョンとインストラクションバージョンの2つのバリエーションを提供しています。開発者、研究者、企業に効率的で低コストなAIソリューションを提供することを目的としています。これらのモデルの発表は、軽量な単一GPUインフラストラクチャ上で動作し、計算能力に対する需要を満たすことで、AI機能のさらなる民主化を意味します。

Hugging Faceは本日、SmolLM2を発表しました。これは、大規模モデルよりもはるかに少ない計算資源で、印象的な性能を実現する、新しいコンパクトな言語モデルのセットです。新しいモデルはApache2.0ライセンスで公開されており、1億3500万、3億6000万、17億のパラメータを持つ3つのサイズがあり、スマートフォンやその他の処理能力とメモリが限られたエッジデバイスへの展開に適しています。SmolLM2-1Bモデルは、いくつかの主要なベンチマークテストでMetaのLlama1Bモデルを上回っています。

Zyphraは最近、70億個のパラメータを持つ、これまでにない性能を持つ小型言語モデル、Zamba2-7Bを正式にリリースしました。このモデルは、Mistral-7B、GoogleのGemma-7B、MetaのLlama3-8Bなど、現在の競合他社を品質と速度の両方で凌駕すると謳われています。Zamba2-7Bは、オンデバイス処理や使用など、強力な言語処理能力が必要だがハードウェアの制約を受ける環境を対象として設計されています。

先日、マイクロソフトはAI担当副社長セバスチャン・ブベック氏が同社を退職し、OpenAIへ入社すると発表しました。マイクロソフトに10年間勤務したベテラン社員にとって、これは大きな転機となるでしょう。画像注記：画像はAI生成、画像ライセンスプロバイダーMidjourneyブベック氏はマイクロソフト在籍中は主に小型言語モデルの開発に携わっていました。小型言語モデルは、効率性と効果のバランスを取る技術であり、性能を犠牲にすることなく、大型言語モデルと同様に…

Nvidiaの研究チームは、モデルプルーニングと知識蒸留技術を用いて、Llama 3の圧縮版であるLlama-3.1-Minitron4Bを発表しました。これは、デバイス上でのAIを実現することを目的とした、わずか4億パラメーターのモデルです。深度プルーニングと幅方向プルーニング技術により、元の80億パラメーターのモデルから大幅にパラメーター数を削減しながら、大規模モデルに匹敵する性能を維持しています。トレーニングデータ量が大幅に削減（40倍）されたにも関わらず、MMLUベンチマークテストにおいて16％の性能向上を実現しました。この成果はNVIDIAのNe…

Zyphra社は、小型言語モデル分野における画期的な成果であるZamba2-2.7B言語モデルを発表しました。パフォーマンスと効率性が大幅に向上し、約3兆トークンのトレーニングデータセットにより、推論時のリソース要求が低減され、モバイルデバイスアプリケーションに最適なソリューションとなっています。主なハイライトとしては、初回応答時間が2倍向上、メモリ使用量が27％削減、生成遅延が1.29倍短縮されており、リアルタイムインタラクションを必要とするバーチャルアシスタントやチャットボットなどのアプリケーションに特に適しています。Zamba2-2.

マイクロソフトは、Phi-3小型言語モデル向けのサーバーレスファインチューニング機能を発表しました。Azure AIプラットフォーム上で、開発者はモデルのパフォーマンスを容易に調整でき、基盤となるインフラストラクチャの管理は不要です。初期利用は無料です。30億パラメーターを持つPhi-3モデルは、企業開発者向けに設計されており、高いパフォーマンスと低コストを実現します。OpenAIのGPT-3.5と比較すると、パラメーター数は少ないものの、様々なアプリケーションにおいて同等の性能を発揮します。サーバーレスファインチューニングにより、操作が簡素化され、参入障壁が低くなり、小型から中型モデルのファインチューニングをサポートします。

NVIDIAは最近、4Bと8Bのバリアントを含むMinitronシリーズの小型言語モデルを発表しました。トレーニング速度が最大40倍に向上し、リソースとデータの要件が大幅に削減され、コストが削減されます。「プルーニング」と「知識蒸留」技術を組み合わせることで、Minitronモデルは性能を維持しながらサイズを縮小し、開発者は翻訳、感情分析、対話型AIなどのアプリケーションで高度な技術をより低コストで利用できるようになります。Minitronモデルはオープンソースであるため、より多くの人が簡単にアクセスして使用できます。

Hugging Faceが、小型で効率的なAIツールであるSmolLMを発表しました。パラメータ数は1億3500万から17億と幅広く、スマートフォンやノートパソコンなど様々なデバイスに対応します。SmolLMは、そのコンパクトさ、高い性能、そして少ないリソースしか必要としない点が特徴で、ユーザーのプライバシー保護にも配慮した設計となっています。厳選されたSmolLM-Corpusデータセットに基づいており、教育データや合成データにおいて優れた学習能力を示します。SmolLMシリーズには、1億3500万、3億6000万、17億パラメータの3つのモデルバージョンがあります。

2023年は、長年にわたるAI分野における最も破壊的な年であり、多くの生成AI製品が主流となりました。その変革の旅を続け、生成AIは2024年に、興奮の話題から現実世界の応用へと変化すると期待されています。生成AI分野は急速に発展しており、さまざまなトレンドを生み出しており、それらのトレンドは、さまざまな業界におけるAIの採用と、私たちの日常生活におけるAIの存在を促進するでしょう。生成AIモデルは、マルチモーダルな多機能性を統合することで、テキスト作成を超えています。