従来の動画理解モデルは、長尺動画の処理において、複雑なコンテキスト理解など多くの課題に直面していました。動画理解能力の向上を目指した研究は数多くありますが、訓練と推論の効率の低さを効果的に克服することは困難でした。本研究チームはこれらの問題に対し、HiCo技術を用いて動画情報の冗長部分を圧縮することで、計算需要を大幅に削減しつつ、重要な情報を保持することに成功しました。具体的には、HiCoは動画を階層的に圧縮し、長尺動画を短いセグメントに分割することで、処理を削減します

デジタルメディアの急増に伴い、動画データはかつてない速度で増加しています。しかし、従来の検索や分析方法は技術的な制約に縛られてきました。Twelve Labsはこの現状を一変させ、人工知能を活用して動画コンテンツに対する革新的な理解能力をもたらそうとしています。従来の動画検索はタイトルやタグに限定されており、氷山の一角しか見えていないようなものでした。Twelve Labsの創設者Jae Lee氏は、真の動画理解にはより高度な技術が必要だと認識しています。彼らのモデルはキーワードの認識だけでなく、動画内の動作や物体の識別、さらには文脈の理解まで行います。

Twelve Labsは、動画コンテンツの分析と検索を可能にする革新的なAI技術を開発しました。ユーザーは「赤いシャツを着た人がレストランに入った時間」など、特定の内容で検索したり、動画のセグメントを自動的に要約したりできます。この技術は、Nvidia、Samsung、Intelなどの大手投資家の注目を集めています。GoogleのGeminiなどの既存技術と比較して、Twelve Labsの最大の特徴は高いカスタマイズ性であり、顧客は独自のデータでモデルをトレーニングし、特定のニーズに合わせて調整することができます。

NVIDIAは最近、AIによる動画検索と要約のための新しい青写真（AI Blueprint for Video Search and Summarization）を発表しました。この技術ソリューションは、従来の動画分析の限界を根本的に変革します。過去の固定モデルのように、事前に設定されたオブジェクトだけを認識するのではなく、生成AI、ビジョン言語モデル（VLM）、大規模言語モデル（LLM）を組み合わせることで、動画の内容を深く理解し、自然なインタラクションを実現します。このシステムはN…

北京智源人工知能研究院は、上海交通大学、中国人民大学、北京大学、北京郵電大学などの大学と共同で、超長動画理解大規模言語モデルVideo-XLを発表しました。このモデルは、マルチモーダル大規模言語モデルの中核能力を重要な形で示しており、汎用人工知能（AGI）への重要な一歩です。既存のマルチモーダル大規模言語モデルと比較して、Video-XLは10分を超える長尺動画の処理において、より優れた性能と効率性を示しています。

Salesforce AI研究チームは最近、新たなマルチモーダル言語モデルであるBLIP-3-Videoを発表しました。動画コンテンツの急増に伴い、動画データを効率的に処理することが喫緊の課題となっています。このモデルは、自動運転からエンターテインメントまで、あらゆる業界で動画理解の効率と効果を高めることを目指しています。従来の動画理解モデルは、多くの場合、動画をフレームごとに処理して大量の視覚情報を生成していました。このプロセスは、膨大な計算資源を消費するだけでなく、処理能力も大きく制限していました。

この記事では、Googleの研究チームが開発したVideoPrismというビデオエンコーダーを紹介します。このモデルは、ビデオ分類、位置特定、字幕生成、さらにはビデオ関連の質問への回答など、複数の動画理解タスクにおいて単一モデルで高度な性能を実現します。トレーニング方法は3段階からなり、多様な動画の提示、高品質な動画と字幕のペアの使用、ノイズを含む並列テキストによるモデルのトレーニングが含まれます。トレーニングデータは3600万件の高品質データ、5820万件のデータペアを含む大規模なものです。VideoPrismは〜

智譜AIは、動画理解分野で顕著な進歩を遂げたモデルであるCogVLM2-Videoモデルのオープンソース化を発表しました。CogVLM2-Videoは、複数のフレーム画像とタイムスタンプをエンコーダの入力として導入することで、既存の動画理解モデルが抱える時間情報の欠落という問題を解決しています。本モデルは、自動化された時間的局在化データ構築手法を用いて、時間に関する3万件の動画質疑応答データを生成し、これにより、公開されている動画理解ベンチマークにおいて最先端の性能を達成するモデルをトレーニングしました。

最近、智譜、清華大学、北京大学は共同で、LVBenchと呼ばれる長尺動画理解ベンチマークテストプロジェクトを発表しました。既存のマルチモーダル大規模言語モデルは短尺動画の理解において目覚ましい進歩を遂げていますが、数時間の長尺動画を処理する際には依然として課題に直面しています。この空白を埋めるために、LVBenchが開発されました。