OmniAudio-2.6B est un modèle multi-modal de 2,6 milliards de paramètres capable de traiter de manière transparente les entrées textuelles et audio. Contrairement aux méthodes traditionnelles qui chaînent les modèles ASR et LLM, ce modèle combine Gemma-2B, Whisper turbo et un module de projection personnalisé, unifiant ces deux capacités au sein d'une architecture efficace pour un minimum de latence et de ressources. Cela lui permet de traiter directement le texte audio sur des appareils périphériques tels que les smartphones, les ordinateurs portables et les robots, de manière rapide et sécurisée.