マルチモーダルタスクにおいて、視覚言語モデル（VLMs）は画像検索、画像キャプション生成、医学診断など、極めて重要な役割を果たしています。これらのモデルの目標は、視覚データと言語データを連携させ、より効率的な情報処理を実現することです。しかし、現在のVLMsは否定の理解において依然として大きな課題に直面しています。
否定は、「窓のない部屋」と「窓のある部屋」を区別するなど、多くの用途で非常に重要です。VLMsは著しい進歩を遂げていますが、否定的な記述を処理する場合、既存モデルの性能は大幅に低下します。この制約は、特に安全監視や医療といったハイリスク分野において非常に重要です。
CLIPなどの既存のVLMsは、共有埋め込み空間を使用して視覚表現とテキスト表現を連携させています。これらのモデルは、クロスモーダル検索や画像キャプション生成などのタスクで優れた性能を示していますが、否定文を処理する際には非力です。この問題の根本原因は、主に肯定的な例で構成される事前学習データの偏りであり、モデルは否定と肯定の記述を同義語として扱うようになります。そのため、CREPEやCC-Negなどの既存のベンチマークは、単純なテンプレート例を使用しており、自然言語における否定の豊かさや深さを正確に反映できません。このため、VLMsは医学画像データベースの複雑な条件を照会するなど、正確な言語理解が必要なアプリケーションにおいて大きな課題に直面します。
これらの問題を解決するために、マサチューセッツ工科大学、Google DeepMind、オックスフォード大学の研究者らは、VLMsの否定理解能力を評価・改善するためのNegBenchフレームワークを提案しました。このフレームワークは、肯定的および否定的記述に基づいて画像を検索するモデルの能力を検証する検索と否定（Retrieval-Neg）、微妙な理解におけるモデルの性能を評価する否定を含む選択問題（MCQ-Neg）という2つの基本的なタスクを評価します。NegBenchは、豊富な否定的な状況を含む数百万のキャプションを含むCC12M-NegCapやCC12M-NegMCQなどの大規模な合成データセットを使用することで、モデルのトレーニングと評価の効率を向上させます。
実データと合成データセットを組み合わせることで、NegBenchは既存モデルの制限を効果的に克服し、モデルの性能と汎化能力を大幅に向上させます。微調整されたモデルは、検索と理解の両方のタスクにおいて顕著な改善を示し、特に否定的なクエリを処理する場合、モデルの再現率は10％向上しました。選択問題タスクでは、正解率が最大40％向上し、微妙な肯定的および否定的キャプション間の識別能力が大幅に向上したことが示されました。
NegBenchの提案は、VLMsにおける否定理解という重要なギャップを埋め、特に医学診断や意味的コンテンツ検索などの重要な分野において、より強力なAIシステムの構築への道を切り開きます。
論文:https://arxiv.org/abs/2501.09425
コード:https://github.com/m1k2zoo/negbench
要点：
🌟 研究者らは、視覚言語モデルにおける否定理解の不足を明らかにし、その主な原因はトレーニングデータの偏りであることを示しました。
📈 NegBenchフレームワークは、豊富な否定的な例を導入することで、モデルの検索と理解タスクにおける性能を大幅に向上させました。
🔍 微調整後のモデルは、否定的なクエリ処理における正解率と再現率が大幅に向上し、AIシステムの発展を促進しました。
