MetaのAI研究者らが、スマートフォンやその他の資源制約のあるデバイス向けに設計された、効率的な言語モデルの新しい手法であるMobileLLMを発表しました。2024年6月27日に発表されたこの研究は、効果的なAIモデルに必要な規模に関する仮説に挑戦するものです。

Meta Reality Labs、PyTorch、Meta AI Research（FAIR）のメンバーからなる研究チームは、10億パラメーター未満のモデルの最適化に焦点を当てています。これは、GPT-4など、推定で1兆パラメーターを超えるモデルのごく一部に過ぎません。

MobileLLMの主な革新は次のとおりです。

  1. モデルの深さを幅よりも優先
  2. 埋め込み共有とグループ化されたクエリ注意の実装
  3. 新規の直接ブロック重み共有技術の活用

これらの設計上の選択により、MobileLLMは、一般的なベンチマークタスクにおいて、以前の同規模のモデルよりも2.7％から4.3％高い性能を示しました。これらの1桁の改善は小さいように見えるかもしれませんが、競争の激しい言語モデル開発分野における大きな進歩を表しています。

注目すべきは、特定のAPI呼び出しタスクにおいて、3.5億パラメーターのMobileLLMバージョンが、より大きな70億パラメーターのLLaMA-2モデルと同等の精度を示したことです。これは、特定のアプリケーションにおいて、よりコンパクトなモデルが同様の機能を提供し、同時に計算資源の使用量を削減できる可能性を示唆しています。

image.png

MobileLLMの開発は、より効率的なAIモデルに対する関心の高まりと一致しています。超大型言語モデルの進歩が鈍化する兆候が見られる中、研究者らは、よりコンパクトで専門的な設計の可能性を探求する傾向にあります。「LLM」という名称が付いていますが、効率性とデバイスへの展開への注目から、MobileLLMは、一部の研究者が言うところの小型言語モデル（SLM）と同じカテゴリーに属します。

MobileLLMはまだ一般公開されていませんが、Metaは事前学習済みコードをオープンソース化し、他の研究者がその研究を基に研究を続けることを可能にしています。この技術が発展するにつれて、個人用デバイスにより高度なAI機能をもたらす可能性がありますが、時間枠や具体的な機能はまだ不確定です。