OmniAudio-2.6B ist ein multimodaler Modell mit 2,6 Milliarden Parametern, das nahtlos Text- und Audioeingaben verarbeiten kann. Im Gegensatz zu traditionellen Ansätzen, die ASR- und LLM-Modelle in Reihe schalten, vereint dieses Modell, basierend auf Gemma-2B, Whisper Turbo und einem benutzerdefinierten Projektionsmodul, beide Fähigkeiten in einer effizienten Architektur. Dies ermöglicht eine Verarbeitung mit minimaler Latenz und geringem Ressourcenverbrauch, sodass es sicher und schnell auf Edge-Geräten wie Smartphones, Laptops und Robotern eingesetzt werden kann.