LLaVA-NeXT ist ein großes multimodaler Modell, das durch ein einheitliches, interleaves Datenformat die Verarbeitung von mehreren Bildern, Videos, 3D- und Einzelbilddaten ermöglicht und die Fähigkeit zum gemeinsamen Training auf verschiedenen visuellen Datenmodalitäten zeigt. Das Modell erzielt führende Ergebnisse bei Benchmarks mit mehreren Bildern und verbessert durch geeignete Datenmischung in verschiedenen Szenarien die Leistung früherer Einzelaufgaben oder erhält sie aufrecht.