大規模言語モデル（LLM）は自然言語処理タスクの推進に重要な役割を果たしていますが、クロスモーダルなコンテンツ生成は依然として課題となっています。復旦大学チームは、モデルが音声とテキストコンテンツを理解し生成することを目指したSpeechGPTを発表しました。SpeechGPTは音声信号を離散化することで、テキストモダリティとの互換性を確保し、音声の知覚と生成能力を備えています。このモデルは感情を感知し表現することができ、コンテキストと指示に基づいて様々なスタイルの音声を生成することができます。これは、膨大な音声データセットによるものです。訓練戦略には、モダリティ適応事前学習が含まれます