Goldfishは、任意の長さの動画を理解するために設計された手法です。効率的な検索メカニズムにより、まず指示に関連する上位k個の動画片段を収集し、必要な応答を提供します。この設計により、Goldfishは任意の長さの動画シーケンスを効果的に処理でき、映画やテレビドラマなどのシナリオに適しています。検索プロセスを促進するために、動画片段の詳細な説明を生成するMiniGPT4-Videoを開発しました。Goldfishは、長尺動画のベンチマークテストで41.78％の精度を達成し、従来の方法を14.94％上回りました。さらに、MiniGPT4-Videoは短尺動画の理解においても優れた性能を発揮し、MSVD、MSRVTT、TGIF、TVQAの短尺動画ベンチマークテストにおいて、それぞれ既存の最先端手法を3.23％、2.03％、16.5％、23.59％上回りました。これらの結果は、Goldfishモデルが長尺動画と短尺動画の理解の両方において顕著な改善を示していることを示しています。