馬毅チームは、微調整後の多様なモダリティの大規模言語モデル（MLLM）の壊滅的な忘却を評価するEMTフレームワークを提案しました。実験によると、MLLMを微調整することで、微調整データセットのパフォーマンスは向上しますが、他のデータセットのパフォーマンスは低下することが示されました。微調整プロセスにおいて、MLLMは微調整データセットに関連する幻覚テキストを生成し、元の質問を無視します。この研究は、今後の研究のためのフレームワークとベンチマークを提供しますが、モデル設計とトレーニング手法のさらなる最適化が必要です。馬毅チームは、MLLMにおける壊滅的な忘却を初めて体系的に評価しました。