fixie-ai/ultravox-v0_4_1-llama-3_1-70b est un grand modèle linguistique basé sur Llama3.1-70B-Instruct et whisper-large-v3-turbo pré-entraînés, capable de traiter des entrées vocales et textuelles pour générer des sorties textuelles. Le modèle convertit les entrées audio en plongements grâce à un jeton pseudo-spécial <|audio|>, qui sont ensuite fusionnés avec une invite textuelle avant la génération de texte. Ultravox a été développé pour étendre les cas d'utilisation de la reconnaissance vocale et de la génération de texte, tels que les agents vocaux, la traduction vocale et l'analyse audio vocale. Ce modèle est sous licence MIT et a été développé par Fixie.ai.