近年、マルチモーダル大規模モデルの研究開発と応用は目覚ましい進歩を遂げています。OpenAI、Google、Microsoftなどの海外企業は、数々の先進的なモデルを発表しており、国内でも、智譜AI、階躍星辰などの機関が同分野で画期的な成果を上げています。これらのモデルは一般的に、ビジョンエンコーダーを用いて視覚特徴を抽出し、大規模言語モデルと組み合わせることで構築されていますが、訓練の分離に起因する視覚的帰納バイアスの問題があり、マルチモーダル大規模モデルの展開効率と性能を制限しています。