香港大学とテンセントの研究者らが、短編動画の推薦精度向上を目指した、全く新しい多様なモダリティ推薦システムの方式「DiffMM」を発表しました。このシステムは、ユーザーと動画の情報を含むグラフを作成し、グラフ拡散とコントラスト学習技術を用いることで、ユーザーと動画間の関係をより深く理解し、より正確な推薦を実現します。
DiffMMのモデル方法は主に3つの部分から構成されています。多様なモダリティグラフ拡散モデル、多様なモダリティグラフ集約、そしてクロスモーダルコントラスト強化です。多様なモダリティグラフ拡散モデルは、モダリティ感知ノイズ除去拡散確率モデルを通じて、ユーザーとアイテムの協調信号と多様なモダリティ情報を統合し、多様なモダリティ推薦システムにおけるネガティブな影響を効果的に解決します。同時に、グラフ確率拡散パラダイムとモダリティ感知グラフ拡散最適化により、モダリティ感知ユーザーとアイテムのグラフ生成と最適化を実現します。
クロスモーダルコントラスト強化においては、モダリティ感知コントラストビューとコントラスト強化手法を用いて、異なるアイテムモダリティにおけるユーザーインタラクションパターンの整合性を捉え、推薦システムの性能を向上させます。
論文: https://arxiv.org/abs/2406.1178
要点:
⭐ 香港大学とテンセントが新たな方式DiffMMを発表し、多様なモダリティ推薦システムの性能を強化。
⭐ DiffMMはグラフ拡散とコントラスト学習技術を用いて、ユーザーと動画間の関係をより深く理解。
⭐ クロスモーダルコントラスト強化手法により、推薦システムの精度と性能が向上。
