GPT-4の発表に伴い、マルチモーダル大規模言語モデル（MLLM）が注目を集めています。馬毅チームは、微調整後のMLLMにおける壊滅的な忘却を評価するためのEMTフレームワークを提案しました。
実験の結果、MLLMを微調整することで、微調整用データセットのパフォーマンスは向上する一方で、他のデータセットのパフォーマンスは低下することが分かりました。微調整プロセスにおいて、MLLMは微調整用データセットに関連する幻覚的なテキストを生成し、元の質問を無視することがあります。
この研究は、今後の研究のためのフレームワークとベンチマークを提供しますが、モデル設計とトレーニング手法はさらなる最適化が必要です。馬毅チームは、MLLMにおける壊滅的な忘却問題を初めて体系的に評価し、様々な能力間のバランスを検討しました。