上海交通大学、ケンブリッジ大学、吉利汽車研究院の研究チームが、F5-TTSと呼ばれる革新的なテキスト音声変換（TTS）システムを発表しました。このシステムの最大の特徴は、自己回帰ではない手法を採用し、フローマッチングと拡散トランスフォーマー（DiT）を組み合わせることで、従来のTTSモデルの複雑な手順を簡素化している点です。
従来のTTSモデルは、複雑な時間モデル化、音素アライメント、特殊なテキストエンコーディングが必要であり、合成プロセスが複雑化していました。特に、E2TTSなどの従来のモデルは、収束速度が遅く、テキストと音声のアライメントが不正確であるという問題があり、実用的な場面での効率的な活用が困難でした。F5-TTSは、これらの課題を解決するために開発されました。
F5-TTSの動作原理はシンプルです。まず、入力テキストをConvNeXtアーキテクチャで処理し、音声とのアライメントを容易にします。次に、パディングされた文字列と入力音声のノイズ版をモデルに入力します。
このシステムのトレーニングは、Diffusion Transformer（DiT）に依存しており、フローマッチングによって単純な初期分布を効果的にデータ分布にマッピングします。さらに、F5-TTSは推論時のSway Sampling戦略を導入しました。この戦略は、推論段階で初期のフローステップを優先的に処理することで、生成音声と入力テキストのアライメント精度を向上させます。
研究結果によると、F5-TTSは合成品質と推論速度の両方において、多くの最新のTTSシステムを凌駕しています。LibriSpeech-PCデータセットにおいて、単語誤り率（WER）は2.42に達し、推論時のリアルタイム係数（RTF）は0.15と、処理速度と堅牢性に課題があった従来の拡散モデルE2TTSを大幅に上回っています。
また、Sway Sampling戦略は、生成音声の自然さと理解可能性を大幅に向上させ、トレーニングなしでもスムーズで表現力豊かな音声生成を実現します。
F5-TTSは、プロセスを簡素化することで、時間予測、音素アライメント、明示的なテキストエンコーディングの必要性を排除し、アライメントの堅牢性と合成品質を向上させました。さらに、研究者らは倫理的な考慮事項を強調し、モデルの悪用を防ぐために、ウォーターマークと検出システムの構築を提唱しています。
プロジェクトページ：https://github.com/SWivid/F5-TTS
要点：
🌟 F5-TTSは、従来のTTSモデルの複雑さを簡素化した、新しい非自己回帰型テキスト音声変換システムです。
⚡ ConvNeXtとDiTアーキテクチャを利用することで、テキストと音声のアライメント効果が向上し、合成品質が大幅に向上しました。
🔒 研究者らは倫理的な問題に注意を払うべきだと強調し、潜在的な悪用を防ぐために、ウォーターマークと検出メカニズムの導入を提案しています。