हाल ही में, आर्टिफिशियल इंटेलिजेंस अनुसंधान संगठन Artificial Analysis ने "Artificial Analysis Text to Image Leaderboard & Arena" (पाठ से चित्र लीडरबोर्ड और एरेना) नामक एक नई पहल शुरू की है, जिसका उद्देश्य इन मॉडलों के प्रदर्शन का समग्र मूल्यांकन करना है।

मूल्यांकन प्लेटफॉर्म का अवलोकन

दो साल पहले प्रसार आधारित चित्र जनरेटर के परिचय के बाद, एआई चित्र मॉडल फोटो स्तर की गुणवत्ता के करीब पहुँच गए हैं। Artificial Analysis Text to Image Leaderboard & Arena का उद्देश्य ओपन-सोर्स और प्राइवेट चित्र जनरेशन मॉडलों की तुलना करना है, ताकि मानव प्राथमिकताओं के आधार पर उनके प्रभाव और सटीकता का निर्धारण किया जा सके।

इस प्लेटफॉर्म की रैंकिंग Artificial Analysis Image Arena के माध्यम से एकत्रित 45,000 से अधिक मानव चित्र प्राथमिकताओं पर आधारित है, जो ELO स्कोरिंग प्रणाली का उपयोग करके अपडेट की जाती है। मूल्यांकन में कई प्रमुख चित्र मॉडल शामिल हैं, जैसे Midjourney, OpenAI का DALL·E, Stable Diffusion और Playground AI आदि।

image.png

मूल्यांकन विधि

प्लेटफॉर्म बड़े पैमाने पर मानव प्राथमिकता डेटा को एकत्र करने के लिए क्राउडसोर्सिंग विधि का उपयोग करता है। प्रतिभागियों को एक प्रॉम्प्ट और दो जनरेटेड चित्र दिखाई देते हैं, और फिर वे प्रॉम्प्ट के सबसे उपयुक्त चित्र का चयन करते हैं। प्रत्येक मॉडल 700 से अधिक चित्र उत्पन्न करता है जो विभिन्न शैलियों और श्रेणियों को कवर करते हैं, जैसे कि व्यक्ति के चित्र, समूह, जानवर, प्रकृति और कला आदि। एकत्रित प्राथमिकता डेटा का उपयोग प्रत्येक मॉडल के ELO स्कोर की गणना करने के लिए किया जाता है, जिससे तुलना की रैंकिंग बनती है।

प्रारंभिक अंतर्दृष्टि

रैंकिंग से पता चलता है कि जबकि प्राइवेट मॉडल प्रदर्शन में आगे हैं, ओपन-सोर्स विकल्प तेजी से प्रतिस्पर्धी होते जा रहे हैं। Midjourney, Stable Diffusion3 और DALL·E3HD जैसे मॉडल शीर्ष पर हैं, जबकि ओपन-सोर्स मॉडल Playground AI v2.5 ने भी महत्वपूर्ण प्रगति की है, जो OpenAI के DALL·E3 से आगे निकल गया है।

यह ध्यान देने योग्य है कि चित्र जनरेशन मॉडल का परिदृश्य तेजी से बदल रहा है। उदाहरण के लिए, पिछले वर्ष अग्रणी रहने वाला DALL·E2 अब एरेना में चुने जाने के मामले में 25% से कम है और रैंकिंग में सबसे नीचे के मॉडल में गिर गया है।

जनता की भागीदारी

Artificial Analysis जनता को इस मूल्यांकन में भाग लेने के लिए प्रोत्साहित करता है। उपयोगकर्ता Hugging Face पर रैंकिंग देख सकते हैं और Image Arena के माध्यम से रैंकिंग प्रक्रिया में भाग ले सकते हैं। 30 चित्र चयन पूरा करने के बाद, प्रतिभागी व्यक्तिगत मॉडल रैंकिंग देख सकते हैं, जिससे उन्हें अपनी प्राथमिकताओं के अनुसार अंतर्दृष्टि मिलती है।

यह पहल एआई चित्र जनरेशन मॉडलों को समझने और सुधारने की दिशा में एक महत्वपूर्ण कदम है। मानव प्राथमिकताओं और सख्त क्राउडसोर्सिंग विधियों का उपयोग करके, यह प्लेटफॉर्म प्रमुख चित्र मॉडलों के तुलना प्रदर्शन के लिए मूल्यवान अंतर्दृष्टि प्रदान करता है। जैसे-जैसे यह क्षेत्र विकसित होता है, इस प्रकार के प्लेटफॉर्म एआई संचालित चित्र जनरेशन के भविष्य के विकास और नवाचार को मार्गदर्शन करने में महत्वपूर्ण भूमिका निभाएंगे।

रैंकिंग लिंक: https://huggingface.co/spaces/ArtificialAnalysis/Text-to-Image-Leaderboard