कृत्रिम बुद्धिमत्ता के क्षेत्र में, कंप्यूटिंग शक्ति और समय हमेशा तकनीकी प्रगति की बाधा बने रहे हैं। हालाँकि, DeepMind टीम के नवीनतम शोध成果 ने इस समस्या का समाधान प्रदान किया है।
उन्होंने JEST नामक एक नई डेटा चयन विधि प्रस्तुत की है, जो बुद्धिमानी से सर्वश्रेष्ठ डेटा बैच का चयन करके प्रशिक्षण को संचालित करती है, जिससे AI प्रशिक्षण समय में उल्लेखनीय कमी और कंप्यूटिंग शक्ति की आवश्यकता में महत्वपूर्ण कमी आई है। कहा जाता है कि यह AI प्रशिक्षण समय को 13 गुना कम कर सकता है और कंप्यूटिंग शक्ति की आवश्यकता को 90% तक कम कर सकता है।
JEST विधि का मुख्य सिद्धांत सर्वश्रेष्ठ डेटा बैच का सामूहिक चयन करना है, न कि व्यक्तिगत नमूने का, यह रणनीति मल्टीमोडल सीखने को तेज करने में विशेष रूप से प्रभावी साबित हुई है। पारंपरिक बड़े पैमाने पर पूर्व-प्रशिक्षण डेटा चयन विधियों की तुलना में, JEST ने न केवल पुनरावृत्ति की संख्या और फ्लोटिंग-पॉइंट ऑपरेशनों की संख्या को काफी कम किया है, बल्कि केवल 10% FLOP बजट का उपयोग करके पिछले उच्चतम स्तर को भी पार किया है।
DeepMind टीम के शोध ने तीन महत्वपूर्ण निष्कर्षों का खुलासा किया: अच्छे डेटा बैच का चयन व्यक्तिगत डेटा बिंदुओं की तुलना में अधिक प्रभावी है, ऑनलाइन मॉडल का अनुमान डेटा को अधिक कुशलता से छानने के लिए उपयोग किया जा सकता है, और छोटे उच्च गुणवत्ता वाले डेटा सेट को बड़े गैर-चयनित डेटा सेट का लाभ उठाने के लिए मार्गदर्शन किया जा सकता है। ये निष्कर्ष JEST विधि की उच्च दक्षता के लिए सैद्धांतिक आधार प्रदान करते हैं।
JEST का कार्यप्रणाली पहले के RHO हानि के अध्ययन से प्रेरित है, जो सीखने के मॉडल और पूर्व-प्रशिक्षित संदर्भ मॉडल की हानि को जोड़ती है, डेटा बिंदुओं की सीखे जाने की योग्यता का आकलन करती है। यह उन डेटा बिंदुओं का चयन करता है जो पूर्व-प्रशिक्षित मॉडल के लिए अपेक्षाकृत आसान हैं, लेकिन वर्तमान सीखने के मॉडल के लिए कठिन हैं, जिससे प्रशिक्षण की दक्षता और प्रभावशीलता बढ़ती है।
इसके अलावा, JEST ने अवरोधित गिब्स सैंपलिंग पर आधारित पुनरावृत्त विधि का उपयोग किया है, जो बैच को क्रमिक रूप से बनाता है, प्रत्येक पुनरावृत्ति में शर्तीय सीखे जाने की स्कोर के आधार पर नए नमूने के उप-सेट का चयन करता है। यह विधि अधिक डेटा को छानने के दौरान लगातार सुधार करती है, जिसमें केवल पूर्व-प्रशिक्षित संदर्भ मॉडल का उपयोग करके डेटा को स्कोर करना शामिल है।
DeepMind का यह शोध न केवल AI प्रशिक्षण क्षेत्र में एक क्रांतिकारी प्रगति लाता है, बल्कि भविष्य की AI तकनीक के विकास के लिए नए दृष्टिकोण और विधियाँ भी प्रदान करता है। JEST विधि के आगे के अनुकूलन और अनुप्रयोग के साथ, हमें विश्वास है कि कृत्रिम बुद्धिमत्ता का विकास एक व्यापक भविष्य का सामना करेगा।
पेपर: https://arxiv.org/abs/2406.17711
मुख्य बिंदु:
🚀 **प्रशिक्षण दक्षता क्रांति**: DeepMind की JEST विधि AI प्रशिक्षण समय को 13 गुना कम करती है, कंप्यूटिंग शक्ति की आवश्यकता को 90% तक कम करती है।
🔍 **डेटा बैच चयन**: JEST सर्वश्रेष्ठ डेटा बैच का सामूहिक चयन करके, न कि व्यक्तिगत नमूने का, मल्टीमोडल सीखने की दक्षता को उल्लेखनीय रूप से बढ़ाता है।
🛠️ **नवोन्मेषी प्रशिक्षण विधि**: JEST ऑनलाइन मॉडल के अनुमान और उच्च गुणवत्ता वाले डेटा सेट के मार्गदर्शन का उपयोग करके, बड़े पैमाने पर पूर्व-प्रशिक्षण के डेटा वितरण और मॉडल सामान्यीकरण क्षमता को अनुकूलित करता है।
