MiniGPT4-Videoは、時系列の視覚データとテキストデータを処理できる、動画理解のために設計されたマルチモーダル大規模言語モデルです。動画のタイトルや宣伝文句を作成でき、動画に関する質問応答にも対応しています。MiniGPT-v2をベースに、視覚主幹EVA-CLIPを組み合わせ、大規模な動画テキスト事前学習と動画質疑応答ファインチューニングを含む複数段階のトレーニングを経て開発されました。MSVD、MSRVTT、TGIF、TVQAベンチマークにおいて顕著な性能向上を実現しています。価格は未定です。