従来の大規模言語モデル（LLM）のファインチューニング方法は、計算負荷が高く、多様なタスクへの対応が静的な傾向がありました。これらの課題を解決するため、Sakana AIはTransformer²という新しい適応型フレームワークを発表しました。Transformer²は推論中にLLMの重みをリアルタイムで調整することで、まるでタコのように柔軟に様々な未知のタスクに対応できます。
Transformer²の中核は、二段階のメカニズムにあります。
第一段階では、スケジューリングシステムがユーザーのクエリを分析し、タスクの属性を識別します。
第二段階では、複数の「専門家」ベクトルを動的に混合します。これらのベクトルは強化学習によって訓練されており、それぞれ特定の種類のタスクに特化することで、現在のタスクに合わせたカスタマイズされたモデル動作を生成します。
この方法は、LoRAなどの従来のファインチューニング方法と比較して、パラメータ数が少なく、効率性が高いです。Transformer²は、様々なLLMアーキテクチャとモダリティ（視覚言語タスクを含む）において、強力な適応性を示しています。
Transformer²の主要技術
特異値微調整（SVF）：これは、モデルの重み行列の特異値を抽出・調整することで実現する、新規のパラメータ効率の高い微調整方法です。この方法は過学習のリスクを低減し、計算コストを削減し、固有の組み合わせ性を可能にします。狭いデータセット上で強化学習を用いて訓練することで、効率的な特定分野の「専門家」ベクトル群が得られ、各テーマのタスクパフォーマンスを直接最適化できます。
適応戦略：推論段階で、Transformer²はSVFで訓練された専門家ベクトルを組み合わせるために、3つの異なる適応戦略を採用しています。これらの戦略は、テスト時の条件に応じてLLMの重みを動的に調整し、自己適応を実現します。
Transformer²の利点
動的な適応性：Transformer²は、動作環境や内部状態の変化に応じて、外部の介入なしに自身の行動を評価・修正できます。
パラメータ効率：LoRAなどの方法と比較して、SVFはパラメータ数が少なく、性能は高いです。
モジュール性：専門家ベクトルはモジュール性を提供し、適応戦略は入力タスクを処理するために最適なベクトルを動的に決定・組み合わせます。
強化学習による最適化：強化学習により、高価なファインチューニング手順や大規模データセットに依存することなく、タスクパフォーマンスを直接最適化できます。
クロスモデル互換性：SVF専門家ベクトルは、その固有の順序構造のおかげで、異なるLLMモデル間で転送できます。
実験結果
複数のLLMとタスクで実施された実験では、SVFの性能は常に従来のファインチューニング戦略（LoRAなど）を上回りました。
Transformer²の適応戦略は、様々な未知のタスクにおいて顕著な改善を示しました。
分類専門家を用いたタスク分類は、プロンプトエンジニアリングによる分類精度よりも高くなりました。
異なるモデルとタスクの組み合わせにおいて、適応係数（αk）の寄与は不均一です。
将来展望
Transformer²は顕著な進歩を遂げましたが、さらなる改善の余地があります。将来の研究では、異なる専門モデルをより強力なモデルに統合するモデル統合技術を探求できます。さらに、より多くの専門分野に対応するためにCEM方法を拡張する方法も研究できます。
総括すると、Transformer²は適応型LLM分野における大きな飛躍であり、真に動的で自己組織化されたAIシステムの構築への道を切り開きました。
論文アドレス：https://arxiv.org/pdf/2501.06252
