アリババの通義实验室音声チームは、オープンソースの音声生成大規模モデルCosyVoiceがバージョン2.0にアップグレードされたことを発表しました。このアップグレードは、音声生成技術の正確性、安定性、自然な体験において顕著な進歩を示しています。CosyVoice 2.0は、オフラインとストリーミングを統合したモデリングによる音声生成大規模モデル技術を採用することで、双方向ストリーミング音声合成を実現し、最初の音声合成遅延を150msに短縮、音声合成の応答速度を大幅に向上させました。

アリババが最近発表したCosyVoice音声合成モデルとSenseVoice音声認識モデルは、FunAudioLLMフレームワークを構成し、人と機械のインタラクション体験の向上を目指しています。CosyVoiceは、そのリアルな音声生成能力により、異なる性別、年齢、個性的声音を模倣し、感情やスタイルを追加し、笑い声、咳、呼吸などの自然な特徴をシミュレートすることもできます。SenseVoiceは、高精度の多言語音声認識、感情認識、オーディオイベント検出に焦点を当てており、50以上の言語をサポートしています