Meta AIは最近、SPIRIT LMと呼ばれる基礎的なマルチモーダル言語モデルを大々的にオープンソース化しました。このモデルはテキストと音声の自由な混合が可能で、音声とテキストのマルチモーダルタスクに新たな可能性を開きます。SPIRIT LMは70億パラメーターの事前学習済みテキスト言語モデルをベースに、テキストと音声のユニットで継続的に学習することで音声モダリティに拡張されました。テキストの大規模言語モデルのようにテキストを理解・生成できるだけでなく、音声の理解・生成も可能で、テキストと音声を混合して様々なものを創造することもできます。