SeamlessM4T est un produit de traduction vocale basé sur un modèle multi-modal, prenant en charge la reconnaissance automatique de la parole, la traduction vocale, la traduction de texte et la synthèse vocale pour près de 100 langues. Il utilise une nouvelle architecture de modèle multitâche UnitY, capable de générer directement du texte et de la parole traduits. L'encodeur vocal auto-supervisé w2v-BERT 2.0 de SeamlessM4T apprend à identifier la structure et le sens dans la parole en analysant des millions d'heures d'enregistrements vocaux multilingues. Le produit fournit également des ensembles de données vocales et textuelles multilingues tels que SONAR et SpeechLASER, ainsi que des outils de modélisation séquentielle comme fairseq2. Le lancement de SeamlessM4T marque une avancée majeure de l'IA dans le domaine de la traduction vocale.