Recientemente, la investigación y aplicación de modelos multimodales de gran envergadura han experimentado un progreso notable. Empresas extranjeras como OpenAI, Google y Microsoft han lanzado una serie de modelos avanzados, y en China, instituciones como Zhipu AI y Jieyue Xingchen también han logrado avances en este campo. Estos modelos suelen depender de codificadores visuales para extraer características visuales y combinarlas con modelos de lenguaje de gran envergadura, pero presentan el problema de sesgo de inducción visual debido a la separación del entrenamiento, lo que limita la eficiencia y el rendimiento del despliegue de los modelos multimodales de gran envergadura.