UniMuMoは、任意のテキスト、音楽、動作データを入力条件として、3種類のモダリティすべてを跨る出力を生成できるマルチモーダルモデルです。このモデルは、音楽、動作、テキストをトークンベースの表現に変換し、統一されたエンコーダー・デコーダー・トランスフォーマーアーキテクチャによってこれらのモダリティを橋渡しします。既存の単一モダリティ事前学習モデルをファインチューニングすることで、計算コストを大幅に削減しています。UniMuMoは、音楽、動作、テキストモダリティのすべての単方向生成ベンチマークテストで競争力のある結果を達成しています。