VSP-LLM ist ein Framework, das visuelle Sprachverarbeitung (Visual Speech Processing, VSP) und große Sprachmodelle (LLMs) kombiniert. Es zielt darauf ab, die Kontextmodellierung mit der Leistungsfähigkeit von LLMs zu maximieren. VSP-LLM ist für die Ausführung multipler Aufgaben in der visuellen Spracherkennung und -übersetzung konzipiert. Es nutzt ein selbstüberwachtes visuell-sprachliches Modell, um Eingangsvideos in den latenten Eingangsraum des LLM zu kartieren. Das Framework ermöglicht effizientes Training durch eine neuartige Deduplizierungsmethode und Low-Rank-Adapter (LoRA).