SeamlessM4Tは、多モーダルモデルに基づく音声翻訳製品であり、約100言語の自動音声認識、音声翻訳、テキスト翻訳、音声合成などをサポートしています。本製品は、新たな多タスクUnitYモデルアーキテクチャを採用し、翻訳テキストと音声の直接生成を実現しています。SeamlessM4Tの自己教師あり音声エンコーダーw2v-BERT 2.0は、数百万時間にも及ぶ多言語音声の分析を通じて、音声における構造と意味の理解を学習しています。また、SONAR、SpeechLASERなどの多言語音声・テキストデータセットや、fairseq2などのシーケンスモデリングツールキットも提供しています。SeamlessM4Tの公開は、AI技術による音声翻訳における大きな進歩を示しています。