アラブ首長国連邦政府が支援する技術革新研究所（TII）は最近、次世代オープンソース小型言語モデル（SLM）であるFalcon3シリーズを発表しました。このシリーズには、1B、3B、7B、10Bの4つの異なる規模のモデルが含まれており、基礎版と指示版の2種類のバリエーションを提供することで、開発者、研究者、企業に効率的で低コストなAIソリューションを提供することを目指しています。これらのモデルの発表は、AI機能のさらなる民主化を象徴しており、軽量の単一GPUインフラストラクチャ上で動作し、計算リソースが限られたデバイスやアプリケーションシナリオのニーズに対応できます。
画像出典：AI生成画像、画像ライセンス提供元Midjourney
Falcon3はHugging Faceランキングで際立った成果を上げており、MetaのLlamaやQwen-2.5などの同サイズのオープンソースモデルを凌駕しています。特に7Bと10Bバージョンは、推論速度、言語理解、指示実行、コードと数学のタスクなどで優れた技術的優位性を示しており、複数のベンチマークテストでGoogle、Meta、アリババなどの競合他社を上回っています。
従来の大規模言語モデル（LLM）と比較して、SLMモデルはパラメータ数が少なく、設計が簡潔なため、効率性と低コストという利点があり、特に顧客サービス、医療、IoTなどの分野でのアプリケーションに適しています。市場調査会社Valuates Reportsのデータによると、SLM市場は今後5年間で年平均18％の成長が見込まれています。
Falcon3シリーズのトレーニングデータ規模は14兆トークンに達し、前身であるFalcon2の2倍以上です。このシリーズは、デコーダーのみのアーキテクチャとグループ化されたクエリアテンションメカニズムを採用することで、メモリ使用量を最小限に抑えながら、推論効率を向上させています。Falcon3は英語、フランス語、スペイン語、ポルトガル語の4言語をサポートし、32Kのコンテキストウィンドウを備えているため、長い入力テキストを処理でき、さまざまな業界のニーズに対応できます。
TIIによると、Falcon3の基本モデルは一般的なタスクに適しており、指示版は顧客サービスや仮想アシスタントなどの対話型タスク向けに最適化されています。このシリーズの発表は、エッジコンピューティングとプライバシー重視のアプリケーションの開発をさらに推進し、パーソナライズされた推奨、データ分析、医療診断、サプライチェーン最適化などのシナリオをサポートします。
すべてのFalcon3モデルは、Apache2.0をベースとした緩やかなライセンスであるTII Falcon License2.0で公開されており、責任あるAIの開発と展開を支援します。開発者や研究者が簡単に使い始められるように、TIIはFalcon Playgroundテスト環境も提供しており、ユーザーはこれらのモデルを統合する前に試用できます。
