SALMONN ist ein audio-textuelles, multimodales Framework für große Sprachmodelle, das darauf abzielt, das Verständnis und die Verarbeitung allgemeiner auditiver Bereiche durch große Sprachmodelle zu erweitern. Das Framework integriert Komponenten wie den nicht-sprachlichen BEATs-Audio-Encoder, den Sprach-Encoder des OpenAI Whisper-Frameworks und den fensterbasierten Q-Former, um eine hohe zeitliche Auflösung für die Audio-Text-Ausrichtung zu erreichen. Nach einer Phase der Aktivierungseinstellung erreicht SALMONN eine wettbewerbsfähige Leistung bei Aufgaben wie Audio-Untertiteln und Sprachübersetzung und zeigt damit sein allgemeines auditives Potenzial.