MouSi ist ein multimodales visuell-sprachliches Modell, das darauf abzielt, die Herausforderungen zu bewältigen, vor denen aktuelle große visuell-sprachliche Modelle (VLMs) stehen. Es verwendet eine Experten-Integrationstechnik, um die Fähigkeiten einzelner visueller Encoder zu kombinieren, darunter Bild-Text-Matching, OCR und Bildsegmentierung. Das Modell integriert ein Fusionsnetzwerk, um die Ausgaben verschiedener visueller Experten zu vereinheitlichen und die Lücke zwischen Bild-Encoder und vortrainierten LLMs zu schließen. Darüber hinaus untersucht MouSi verschiedene Positionscodierungsansätze, um das Problem der ineffizienten Positionscodierung und der Längenbeschränkungen effektiv zu lösen. Die Ergebnisse zeigen, dass VLMs mit mehreren Experten eine deutlich bessere Leistung erbringen als einzelne visuelle Encoder und mit zunehmender Anzahl integrierter Experten eine signifikante Leistungssteigerung erzielen.