最近、世界的な人工知能に関するトップレベルの学術会議であるAAAI2025において、アリババ傘下のAnt Group、浙江大学、リバプール大学、華東師範大学による合同チームが、革新的なクロスドメイン微調整（オフサイトチューニング）フレームワーク「ScaleOT」を発表しました。このフレームワークは、モデルの性能を損なうことなく、プライバシー保護効果を50%向上させます。知識蒸留技術と比較して、計算コストを90%削減し、数百億パラメータのモデルのクロスドメイン微調整に効率的で軽量なソリューションを提供します。その革新性から、論文はAAAIの口頭発表論文に選出されました（本会議への投稿は約13,000件で、口頭発表の割合はわずか4.6%です）。
クロスドメイン微調整は、現在、業界でモデルの知的財産権とデータプライバシーを保護するための主流手法となっています。損失のある圧縮によって大規模モデルをシミュレータに変換し、データ保有者はそれを基にアダプターをトレーニングし、大規模モデルに返して微調整を行います。データとモデルはどちらもドメイン外に出ないため、双方のプライバシーを保護できますが、限界もあります。一つは、「均一に積み木を積む」ような処理によってモデルの重要な層が欠落し、性能が著しく低下する可能性があることです。もう一つは、蒸留技術を用いて性能損失を補うために計算コストが高くなることです。また、既存の方法ではプライバシー保護の柔軟性に欠けています。
Ant Groupの技術チームによると、ScaleOTは、モデルの性能とプライバシーの安全性のバランスを取るために、3つの革新的なアイデアを提案しています。1つ目は、大規模モデルのインテリジェント層の重要性を評価し、強化学習を用いて重要な層を自動的に識別し、動的に「コア層」を保持することで、性能の損失を軽減することです。2つ目は、保持された元の層に「暗号化」を施し、攻撃者が元のモデルを復元するのを防ぎ、性能をほとんど損なうことなくプライバシー保護の強度を高めることです。3つ目は、さまざまなシナリオに合わせて柔軟に構成することで、プライバシーの強度を調整できることです。
データとモデルのプライバシーとセキュリティの問題を解決することは、大規模モデルが産業、特に金融業界で導入される上で重要な課題です。Ant Groupのこの革新的なアルゴリズムは、同社のMOSS大規模モデルのプライバシー保護製品に統合されており、中国で初めて信通院の大規模モデルの信頼できる実行環境製品の専門試験に合格した製品の一つとなっています。