यह उपकरण नवीनतम मालिकाना और ओपन-सोर्स MLLMs पर गुणात्मक अनुसंधान करके, पाठ, कोड, छवि और वीडियो चारों विधाओं के दृष्टिकोण से, उनकी सामान्यीकरण क्षमता, विश्वसनीयता और कारणात्मक तर्क क्षमता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, ताकि MLLMs की पारदर्शिता में वृद्धि हो सके। हम मानते हैं कि ये गुण MLLMs की विश्वसनीयता को परिभाषित करने वाले कई प्रतिनिधि कारक हैं, जो विभिन्न डाउनस्ट्रीम अनुप्रयोगों का समर्थन करते हैं। विशेष रूप से, हमने बंद-स्रोत GPT-4 और Gemini और साथ ही 6 ओपन-सोर्स LLMs और MLLMs का मूल्यांकन किया है। कुल मिलाकर, हमने 230 हाथ से डिज़ाइन किए गए मामलों का मूल्यांकन किया, गुणात्मक परिणामों को 12 स्कोर (अर्थात 4 विधाओं को 3 गुणों से गुणा करके) में संक्षेपित किया गया है। कुल मिलाकर, हमने 14 अनुभवजन्य निष्कर्षों का पता लगाया है जो मालिकाना और ओपन-सोर्स MLLMs की क्षमताओं और सीमाओं को समझने में मदद करते हैं, ताकि बहु-विधा डाउनस्ट्रीम अनुप्रयोगों का अधिक विश्वसनीय रूप से समर्थन किया जा सके।