MuVi ist ein innovatives Framework, das durch die Analyse von Videoinhalten kontext- und zeitbezogene Merkmale extrahiert und Musik generiert, die die Emotionen, das Thema, den Rhythmus und das Tempo des Videos widerspiegelt. Das Framework integriert ein kontrastives Musik-Video-Pretraining, um die periodische Synchronisierung von Musikphrasen sicherzustellen, und zeigt, dass der auf Flow-Matching basierende Musikgenerator über kontextuelle Lernfähigkeiten verfügt, die die Steuerung des Stils und der Art der generierten Musik ermöglichen. MuVi zeigt eine überragende Leistung in Bezug auf Audioqualität und zeitliche Synchronisierung und bietet neue Lösungen für die Fusion von Audio- und Videomaterial und immersive Erlebnisse.