MMStar एक ऐसा मानक परीक्षण समुच्चय है जिसका उद्देश्य बड़े दृश्य-भाषा मॉडल की बहु-विधा क्षमताओं का मूल्यांकन करना है। इसमें 1500 सावधानीपूर्वक चुने गए दृश्य-भाषा नमूने शामिल हैं, जो 6 मुख्य क्षमताओं और 18 उप-विभाजन आयामों को कवर करते हैं। प्रत्येक नमूने की मानवीय समीक्षा की गई है, जिससे यह सुनिश्चित होता है कि इसमें दृश्य निर्भरता है, डेटा लीक कम से कम है, और इसे हल करने के लिए उन्नत बहु-विधा क्षमताओं की आवश्यकता होती है। पारंपरिक सटीकता संकेतकों के अलावा, MMStar डेटा लीक और बहु-विधा प्रशिक्षण के वास्तविक प्रदर्शन लाभ को मापने के लिए दो नए संकेतक प्रस्तुत करता है। शोधकर्ता कई कार्यों पर दृश्य-भाषा मॉडल की बहु-विधा क्षमताओं का मूल्यांकन करने और मॉडल में मौजूद संभावित समस्याओं का पता लगाने के लिए MMStar का उपयोग कर सकते हैं।