मल्टी-मोडल बड़े भाषा मॉडल (MLLMs) के प्रोत्साहन के तहत, चित्र और वीडियो से संबंधित कार्यों में क्रांतिकारी प्रगति हुई है, जिसमें दृश्य प्रश्न उत्तर, वर्णन उत्पन्न करना और इंटरएक्टिव संपादन शामिल हैं। हालांकि, बारीकी से वीडियो सामग्री की समझ प्राप्त करना अभी भी महत्वपूर्ण चुनौतियों का सामना करता है। यह चुनौती पिक्सेल स्तर पर विभाजन, भाषा वर्णन के साथ ट्रैकिंग, और विशेष वीडियो संकेतों पर दृश्य प्रश्न उत्तर जैसे कार्यों को शामिल करती है। वर्तमान में सबसे उन्नत वीडियो संवेदन मॉडल विभाजन और ट्रैकिंग कार्यों में उत्कृष्टता प्रदर्शित करते हैं, लेकिन वे खुले भाषा समझ और संवाद क्षमताओं में अभी भी पिछड़ते हैं।