जेनरेटिव एआई के तेजी से विकास के साथ, उद्योग में "बड़ा ही बेहतर है" की पारंपरिक धारणा में बदलाव आ रहा है। हाल ही में कई शीर्ष एआई वैज्ञानिकों ने कहा है कि केवल डेटा मात्रा और गणना शक्ति को बढ़ाकर एआई प्रदर्शन में सुधार करने का तरीका लगभग एक सीमा पर पहुंच गया है, और नई तकनीकी प्रगति के दिशा-निर्देश स्पष्ट हो रहे हैं।
सेफ सुपरइंटेलिजेंस और ओपनएआई के सह-संस्थापक इल्या सुत्सकेवर ने हाल ही में यह राय व्यक्त की कि पारंपरिक पूर्व-प्रशिक्षण विधियाँ प्रदर्शन के प्लेटफार्म चरण में प्रवेश कर चुकी हैं। यह निष्कर्ष विशेष रूप से ध्यान आकर्षित करता है, क्योंकि यह वही है जिसने बड़े पैमाने पर पूर्व-प्रशिक्षण विधियों का पहले समर्थन किया था जिसने ChatGPT को जन्म दिया। अब, वे कहते हैं कि एआई क्षेत्र "स्केल विस्तार युग" से "चमत्कार और खोज के युग" में प्रवेश कर चुका है।
वर्तमान में बड़े मॉडल प्रशिक्षण कई चुनौतियों का सामना कर रहा है: प्रशिक्षण लागत जो अक्सर करोड़ों डॉलर में होती है, प्रणाली की जटिलता के कारण हार्डवेयर विफलता का जोखिम, लंबे परीक्षण चक्र, और डेटा संसाधनों और ऊर्जा आपूर्ति की सीमाएँ। ये समस्याएँ शोधकर्ताओं को नई तकनीकी मार्गों की खोज करने के लिए प्रेरित कर रही हैं।
इसमें, "परीक्षण समय गणना" (test-time compute) तकनीक को व्यापक ध्यान मिल रहा है। यह विधि एआई मॉडल को उपयोग के दौरान वास्तविक समय में कई विकल्प उत्पन्न करने और उनका मूल्यांकन करने की अनुमति देती है, बजाय कि सीधे एकल उत्तर देने के। ओपनएआई के शोधकर्ता नोहम ब्राउन ने एक जीवंत उदाहरण दिया: एआई को एक पत्ते के खेल में 20 सेकंड तक सोचने देना, प्रभाव लगभग मॉडल के आकार और प्रशिक्षण समय को 100,000 गुना बढ़ाने के बराबर है।
वर्तमान में, ओपनएआई, एंथ्रोपिक, xAI और डीपमाइंड सहित कई शीर्ष एआई प्रयोगशालाएँ अपने-अपने तकनीकी संस्करणों को सक्रिय रूप से विकसित कर रही हैं। ओपनएआई ने अपनी नवीनतम मॉडल "o1" में इस तकनीक का उपयोग किया है, और मुख्य उत्पाद अधिकारी केविन वाइल ने कहा कि इन नवाचारों के माध्यम से, उन्होंने मॉडल प्रदर्शन में सुधार के लिए कई अवसर देखे हैं।
उद्योग के विशेषज्ञों का मानना है कि इस तकनीकी मार्ग में बदलाव पूरे एआई उद्योग की प्रतिस्पर्धा की संरचना को फिर से आकार दे सकता है, और एआई कंपनियों की विभिन्न संसाधनों की मांग की संरचना को मौलिक रूप से बदल सकता है। यह संकेत करता है कि एआई विकास एक नए चरण में प्रवेश कर रहा है जो केवल मात्रा विस्तार पर ध्यान केंद्रित करने के बजाय गुणवत्ता में सुधार पर अधिक ध्यान केंद्रित कर रहा है।
