CLaMP 3
CLaMP 3 ist ein einheitlicher Rahmen für die musikbezogene Informationsrecherche über verschiedene Modalitäten und Sprachen hinweg.
Normales ProduktMusikMusik-InformationsrechercheMultimodal
CLaMP 3 ist ein fortschrittliches Modell zur musikbezogenen Informationsrecherche. Durch kontrastives Lernen werden die Merkmale von Partituren, Aufführungssignalen, Audioaufnahmen und mehrsprachigen Texten aufeinander abgestimmt, um eine musikbezogene Recherche über verschiedene Modalitäten und Sprachen hinweg zu ermöglichen. Es kann nicht ausgerichtete Modalitäten und unbekannte Sprachen verarbeiten und zeigt eine starke Generalisierungsfähigkeit. Das Modell basiert auf dem groß angelegten Datensatz M4-RAG, der verschiedene Musiktraditionen weltweit umfasst, und unterstützt verschiedene Aufgaben der musikbezogenen Recherche, wie z. B. Text-zu-Musik und Bild-zu-Musik.