मशीन लर्निंग पहले से ही विभिन्न ऑनलाइन सेवाओं में समाहित हो चुका है, और ऑनलाइन शॉपिंग इनमें से एक सबसे सफल क्षेत्र है। हाल के वर्षों में, मशीन लर्निंग का उपयोग विभिन्न ऑनलाइन शॉपिंग कार्यों में किया गया है, जैसे कि उपयोगकर्ता प्रश्न, ब्राउज़िंग रिकॉर्ड, समीक्षा विश्लेषण, उत्पाद विशेषताओं का निष्कर्षण आदि। मशीन लर्निंग विधियों के विकास को बढ़ावा देने के लिए, कई बेंचमार्क परीक्षणों का निर्माण किया गया है, जिसका उद्देश्य शोधकर्ताओं और इंजीनियरों के लिए वास्तविक ऑनलाइन शॉपिंग कार्यों के लिए नए समाधान विकसित करने और मूल्यांकन करने की प्रक्रिया को आसान बनाना है।
हालांकि, मौजूदा मॉडल और बेंचमार्क अक्सर विशिष्ट कार्यों के लिए अनुकूलित होते हैं, और ऑनलाइन शॉपिंग की जटिलता को पूरी तरह से नहीं पकड़ पाते। बड़े भाषा मॉडल (LLM) अपनी बहु-कार्य और कम-उदाहरण सीखने की क्षमताओं के साथ, विशिष्ट कार्यों के इंजीनियरिंग बोझ को कम करके और उपयोगकर्ताओं को इंटरैक्टिव संवाद प्रदान करके ऑनलाइन शॉपिंग अनुभव को पूरी तरह से बदलने की क्षमता रखते हैं। हालांकि इसकी क्षमता बहुत बड़ी है, बड़े भाषा मॉडल ऑनलाइन शॉपिंग क्षेत्र में कुछ विशिष्ट चुनौतियों का सामना भी करते हैं, जैसे कि विशिष्ट क्षेत्र की खरीदारी की अवधारणाएँ, निहित ज्ञान और विविध उपयोगकर्ता व्यवहार।
इन चुनौतियों का सामना करने के लिए, अमेज़न के शोधकर्ताओं ने शॉपिंग MMLU पेश किया, जो वास्तविक अमेज़न डेटा पर आधारित एक बहु-कार्य ऑनलाइन शॉपिंग बेंचमार्क परीक्षण है। शॉपिंग MMLU में 57 कार्य शामिल हैं, जो 4 प्रमुख शॉपिंग कौशल को कवर करते हैं: अवधारणा समझ, ज्ञान अनुमान, उपयोगकर्ता व्यवहार संरेखण और बहु-भाषा क्षमता, जिससे यह बड़े भाषा मॉडल के सामान्य शॉपिंग सहायक के रूप में क्षमता का समग्र मूल्यांकन करने में सक्षम बनाता है।
यह शॉपिंग MMLU सामान्य "परीक्षा" नहीं है, बल्कि यह वास्तविक अमेज़न शॉपिंग डेटा से 57 कार्यों को निकालता है, जो अवधारणा समझ, ज्ञान अनुमान, उपयोगकर्ता व्यवहार संरेखण और बहु-भाषा क्षमता के चार बड़े मॉड्यूल को कवर करता है। सरल शब्दों में, यह देखना है कि क्या AI सहायक वास्तविक जीवन के शॉपिंग सहायक की तरह आपकी आवश्यकताओं को समझ सकता है और आपको आपकी पसंदीदा वस्तुएं खोजने में मदद कर सकता है।
अमेज़न के शोधकर्ताओं ने शॉपिंग MMLU का उपयोग करके 20 से अधिक मौजूदा AI मॉडलों का परीक्षण किया, और परिणाम पाया:
वे प्रसिद्ध विशेष AI मॉडल, जैसे कि Claude-3Sonnet, ChatGPT, वास्तव में अच्छा प्रदर्शन करते हैं, और पहले स्थान पर हैं। हालाँकि, ओपन-सोर्स AI मॉडल भी तेजी से आगे बढ़ रहे हैं और "प्राधिकृत" को चुनौती देने की क्षमता दिखा रहे हैं।
शॉपिंग MMLU के परीक्षण परिणामों ने एक दिलचस्प घटना का भी खुलासा किया: ऑनलाइन शॉपिंग वास्तव में एक बहु-कार्य सीखने की समस्या है। अर्थात्, AI सहायक को इस कार्य को पूरा करने के लिए कई कौशल simultaneously सीखने की आवश्यकता होती है।
और भी आश्चर्यजनक बात यह है कि वे AI मॉडल जो सामान्य क्षेत्रों में उत्कृष्ट प्रदर्शन करते हैं, वे ऑनलाइन शॉपिंग में भी कम नहीं हैं। यह दर्शाता है कि AI सहायक सामान्य ज्ञान को विशिष्ट क्षेत्रों में स्थानांतरित कर सकते हैं और नई क्षमताओं को तेजी से सीख सकते हैं।
बेशक, AI सहायक स्वाभाविक रूप से पूर्ण नहीं होते। शोधकर्ताओं ने पाया कि कुछ सामान्य AI प्रशिक्षण विधियाँ, जैसे कि निर्देश सूक्ष्मता (IFT), कुछ मामलों में मॉडल के अत्यधिक फिट होने का कारण बन सकती हैं, जिससे इसकी प्रदर्शन पर नकारात्मक प्रभाव पड़ता है।
इसके अलावा, कम उदाहरण सीखना भी AI सहायक के लिए एक बड़ी चुनौती है। इसका अर्थ है कि AI सहायक को नए कार्यों का सामना करते समय तेजी से सीखने की आवश्यकता होती है, और हमेशा बड़ी मात्रा में प्रशिक्षण डेटा पर निर्भर नहीं रहना चाहिए।
संक्षेप में, अमेज़न का शॉपिंग MMLU बेंचमार्क परीक्षण AI सहायक के विकास के लिए एक दिशा निर्धारित करता है। भविष्य में, हम और अधिक स्मार्ट, अधिक मानव-संबंधित ऑनलाइन शॉपिंग AI सहायक देखने की उम्मीद करते हैं, जिससे हमारी खरीदारी का अनुभव अधिक सुविधाजनक और सुखद हो सके।
शोधकर्ताओं ने कुछ महत्वपूर्ण विवरणों की भी पहचान की:
शॉपिंग MMLU मौजूदा अन्य ऑनलाइन शॉपिंग AI डेटा सेट की तुलना में अधिक जटिल और चुनौतीपूर्ण है।
विशिष्ट क्षेत्र की निर्देश सूक्ष्मता हमेशा अच्छी नहीं होती, और यह केवल तब प्रभावी होती है जब मजबूत मॉडल पहले से बड़ी मात्रा में सामान्य ज्ञान को समझ चुका हो।
वर्तमान में, यहां तक कि सबसे उन्नत AI मॉडल भी कुछ ऑनलाइन शॉपिंग कार्यों में प्रदर्शन में उन कार्यों के लिए विशेष रूप से डिज़ाइन किए गए एल्गोरिदम से पीछे हैं।
इस अध्ययन के परिणाम बताते हैं कि एक पूर्ण ऑनलाइन शॉपिंग AI सहायक का निर्माण करने में अभी भी लंबा रास्ता तय करना है। भविष्य के शोध दिशाओं में शामिल हैं: अधिक प्रभावी AI प्रशिक्षण विधियों का विकास, अधिक विविध ऑनलाइन शॉपिंग AI डेटा सेट का निर्माण, और AI मॉडल को विशिष्ट कार्य एल्गोरिदम के साथ जोड़कर एक अधिक शक्तिशाली मिश्रित AI प्रणाली का निर्माण।
अंत में, शोधकर्ताओं ने इस अध्ययन की कुछ सीमाओं को भी ईमानदारी से उजागर किया:
शॉपिंग MMLU में डेटा मुख्य रूप से अमेज़न से है, और यह अन्य ई-कॉमर्स प्लेटफार्मों के उपयोगकर्ता व्यवहार का पूरी तरह से प्रतिनिधित्व नहीं कर सकता।
हालाँकि शोधकर्ताओं ने प्रयास किया है, लेकिन शॉपिंग MMLU में डेटा में अभी भी कुछ त्रुटियाँ हो सकती हैं।
कुल मिलाकर, अमेज़न का यह अध्ययन हमें भविष्य के स्मार्ट शॉपिंग युग के लिए एक दरवाज़ा खोलता है। हमें विश्वास है कि निकट भविष्य में, ऑनलाइन शॉपिंग AI सहायक हमारे जीवन का एक अभिन्न हिस्सा बन जाएगा।
पेपर का पता: https://arxiv.org/pdf/2410.20745
डेटा और मूल्यांकन कोड:
https://github.com/KL4805/ShoppingMMLU
KDD कप 2024 कार्यशाला और पुरस्कार विजेता टीमों के समाधान:
https://amazon-kddcup24.github.io/
मूल्यांकन सूची:
https://huggingface.co/spaces/KL4805/shopping_mmlu_leaderboard
