ultravox-v0_4_1-mistral-nemoは、事前学習済みのMistral-Nemo-Instruct-2407とwhisper-large-v3-turboを基盤としたマルチモーダル音声大規模言語モデル（LLM）です。このモデルは、テキストシステムプロンプトと音声ユーザーメッセージなど、音声とテキストの両方の入力を同時に処理できます。Ultravoxは、特別な<|audio|>擬似トークンを使用して入力オーディオを埋め込みに変換し、テキスト出力を生成します。今後のバージョンでは、意味的および音響的なオーディオトークンの生成をサポートするトークン語彙の拡張を計画しており、これにより、ボイスコーダーに入力して音声出力を生成できるようになります。このモデルはFixie.aiによって開発され、MITライセンスで提供されています。