हाल ही में AI क्षेत्र में एक अजीब घटना हुई है, जैसे एक खाने का वीडियो बनाने वाला व्यक्ति अचानक अपने द्वारा बनाए गए व्यंजनों को खाने लगा, और वह धीरे-धीरे इसकी आदत डालने लगा, और व्यंजन भी खाने में खराब होते गए। इस बात का जिक्र करना थोड़ा डरावना है, इसे पेशेवर भाषा में मॉडल का पतन (model collapse) कहा जाता है।
मॉडल का पतन क्या है? सरल शब्दों में, इसका मतलब है कि यदि AI मॉडल अपने प्रशिक्षण के दौरान अपने द्वारा उत्पन्न डेटा का बड़े पैमाने पर उपयोग करता है, तो वह एक दुष्चक्र में फंस जाता है, जिससे मॉडल द्वारा उत्पन्न गुणवत्ता दिन-ब-दिन खराब होती जाती है, और अंततः यह पूरी तरह से विफल हो जाता है।
यह एक बंद पारिस्थितिकी तंत्र की तरह है, AI मॉडल इस प्रणाली का एकमात्र जीव है, और इसका भोजन डेटा है। शुरुआत में, यह कुछ प्राकृतिक सामग्री (वास्तविक डेटा) खोज सकता है, लेकिन समय के साथ, यह अपने द्वारा उत्पादित "कृत्रिम" सामग्री (संश्लेषित डेटा) पर अधिक निर्भर होने लगता है। समस्या यह है कि ये "कृत्रिम" सामग्री पोषणहीन होती है, और इसमें मॉडल की अपनी कुछ खामियां होती हैं। अधिक खाने पर, AI मॉडल का "शरीर" गिर जाता है, और जो चीजें उत्पन्न होती हैं, वे दिन-ब-दिन अधिक बेतुकी होती जाती हैं।
इस शोध पत्र ने मॉडल के पतन की घटना का अध्ययन किया है और दो महत्वपूर्ण प्रश्नों का उत्तर देने का प्रयास किया है:
क्या मॉडल का पतन अवश्यम्भावी है? क्या वास्तविक डेटा और संश्लेषित डेटा को मिलाकर इस समस्या का समाधान किया जा सकता है?
क्या मॉडल जितना बड़ा होगा, उतना ही इसे पतन का खतरा अधिक होगा?
इन प्रश्नों का अध्ययन करने के लिए, शोध पत्र के लेखकों ने एक श्रृंखला प्रयोगों का डिजाइन किया और न्यूरल नेटवर्क के प्रशिक्षण प्रक्रिया का अनुकरण करने के लिए यादृच्छिक प्रक्षिप्ति मॉडल का उपयोग किया। उन्होंने पाया कि केवल एक छोटे हिस्से का संश्लेषित डेटा (जैसे 1%) का उपयोग करने पर भी मॉडल का पतन हो सकता है। और भी बुरा यह है कि जैसे-जैसे मॉडल का आकार बढ़ता है, मॉडल के पतन की घटना अधिक गंभीर हो जाती है।
यह ठीक वैसा ही है जैसे एक खाने का वीडियो बनाने वाला व्यक्ति दर्शकों का ध्यान आकर्षित करने के लिए विभिन्न अजीब सामग्री का प्रयास करता है, और परिणामस्वरूप उसे पेट में परेशानी होती है। नुकसान को सुधारने के लिए, उसे अपने खाने की मात्रा बढ़ानी पड़ती है, और अधिक अजीब चीजें खानी पड़ती हैं, जिससे उसकी स्थिति और खराब होती जाती है, और अंततः उसे खाने के वीडियो बनाने की दुनिया से बाहर निकलना पड़ता है।
तो, हम मॉडल के पतन से कैसे बच सकते हैं?
शोध पत्र के लेखकों ने कुछ सुझाव दिए हैं:
वास्तविक डेटा का प्राथमिकता से उपयोग करें: वास्तविक डेटा प्राकृतिक सामग्री की तरह होता है, यह पोषण से भरपूर होता है, और AI मॉडल के स्वस्थ विकास के लिए यह महत्वपूर्ण है।
संश्लेषित डेटा का सावधानी से उपयोग करें: संश्लेषित डेटा मानव निर्मित सामग्री की तरह होता है, हालाँकि यह कुछ पोषण को पूरक कर सकता है, लेकिन इस पर अधिक निर्भर नहीं होना चाहिए, अन्यथा यह विपरीत परिणाम दे सकता है।
मॉडल के आकार को नियंत्रित करें: जितना बड़ा मॉडल होगा, उतना ही इसकी भूख बढ़ेगी, और यह पेट खराब करने की अधिक संभावना होगी। संश्लेषित डेटा का उपयोग करते समय, मॉडल के आकार को नियंत्रित करें, अधिक भोजन देने से बचें।
मॉडल का पतन AI के विकास के दौरान एक नई चुनौती है, यह हमें याद दिलाता है कि मॉडल के आकार और दक्षता के साथ-साथ डेटा की गुणवत्ता और मॉडल की सेहत पर भी ध्यान देना चाहिए। केवल तभी, AI मॉडल निरंतर स्वस्थ विकास कर सकेगा और मानव समाज के लिए अधिक मूल्य पैदा कर सकेगा।
शोध पत्र: https://arxiv.org/pdf/2410.04840
