Meta hat SeamlessM4T, das weltweit größte mehrmodale Übersetzungsmodell, als Open Source veröffentlicht. Es unterstützt 100 Sprachen, darunter auch regionale Dialekte.
Das Modell kann verschiedene Übersetzungsaufgaben bewältigen: Sprache-zu-Text, Sprache-zu-Sprache, Text-zu-Sprache und Text-zu-Text.
SeamlessM4T integriert vorherige Meta-Modelle wie NLLB und MMS und wurde mit umfangreichen, ausgerichteten Sprach- und Textdaten trainiert.
Das Modell erzielt in Multi-Task-Übersetzungen Spitzenergebnisse und zeigt eine hohe Robustheit in Tests, insbesondere bei Hintergrundgeräuschen und wechselnden Sprechern.
Besonders hervorzuheben ist die signifikante Leistungssteigerung für Sprachen mit geringen Ressourcen.