DenseAVは、ビデオを観察することで高解像度で意味のある視覚聴覚アラインメント特徴を学習する、新規のデュアルエンコーダ局所化アーキテクチャです。明示的な局所化の監視なしで単語の「意味」と音の「位置」を発見し、これら2つの関連付けのタイプを自動的に発見および区別できます。DenseAVの局所化能力は、密集した画像と音声表現を直接比較してコントラスト学習を行う、新しいマルチヘッド特徴集約演算子に由来します。さらに、DenseAVはセマンティックセグメンテーションタスクにおいて以前の最先端を大幅に上回り、パラメータ数が半分以下でImageBindを凌駕するクロスモーダル検索を実現しています。