हाल ही में, माइक्रोसॉफ्ट एआई रिसर्च टीम ने ओपन-सोर्स टूल PromptWizard जारी किया है, जो एक फीडबैक-ड्रिवेन एआई ढांचा है, जिसका उद्देश्य बड़े भाषा मॉडल (LLM) के संकेत डिज़ाइन को प्रभावी ढंग से अनुकूलित करना है। संकेतों की गुणवत्ता मॉडल के आउटपुट की गुणवत्ता के लिए अत्यंत महत्वपूर्ण है, लेकिन उच्च गुणवत्ता के संकेत बनाने में अक्सर बहुत समय और मानव संसाधनों की आवश्यकता होती है, विशेष रूप से जटिल या विशिष्ट क्षेत्रों के कार्यों में।
परंपरागत संकेत अनुकूलन विधियाँ आमतौर पर मानव अनुभव पर निर्भर करती हैं, यह तरीका न केवल समय लेने वाला है, बल्कि इसे बढ़ाना भी मुश्किल है। मौजूदा अनुकूलन तकनीकों को निरंतर और विखंडित दो प्रकारों में वर्गीकृत किया गया है। निरंतर तकनीक जैसे नरम संकेतों को बहुत अधिक गणनात्मक संसाधनों की आवश्यकता होती है, जबकि विखंडित विधियाँ जैसे PromptBreeder और EvoPrompt कई संकेत विविधताओं को उत्पन्न करके मूल्यांकन करती हैं, हालांकि ये विधियाँ कुछ मामलों में अच्छी तरह से प्रदर्शन करती हैं, लेकिन प्रभावी फीडबैक तंत्र की कमी के कारण परिणाम अक्सर संतोषजनक नहीं होते हैं।
PromptWizard फीडबैक तंत्र को शामिल करके, आलोचना और संश्लेषण के तरीके का उपयोग करके संकेत निर्देशों और उदाहरणों को बार-बार अनुकूलित करता है, जिससे कार्य प्रदर्शन में महत्वपूर्ण सुधार होता है। इसका कार्य प्रवाह मुख्य रूप से दो चरणों में विभाजित है: उत्पादन चरण और परीक्षण तर्क चरण। उत्पादन चरण में, सिस्टम बड़े भाषा मॉडल का उपयोग करके आधार संकेत पर आधारित कई विविधताओं को उत्पन्न करता है और उनके प्रदर्शन का मूल्यांकन करता है ताकि उत्कृष्ट उम्मीदवारों को पाया जा सके। साथ ही, ढांचे में अंतर्निहित आलोचनात्मक तंत्र प्रत्येक संकेत के लाभ और हानि का विश्लेषण करेगा, अनुकूलन के लिए मार्गदर्शन करने के लिए फीडबैक प्रदान करेगा। कई दौर की अनुकूलन के बाद, सिस्टम संकेतों की विविधता और गुणवत्ता को बढ़ा सकता है।
परीक्षण तर्क चरण में, अनुकूलित संकेत और उदाहरण नए कार्यों पर लागू किए जाएंगे, प्रदर्शन में निरंतर सुधार सुनिश्चित करने के लिए। इस विधि के माध्यम से, PromptWizard ने 45 कार्यों पर व्यापक प्रयोग किए हैं और बिना पर्यवेक्षण और पर्यवेक्षित सेटिंग्स में उत्कृष्ट परिणाम प्राप्त किए हैं। उदाहरण के लिए, इसने GSM8K डेटा सेट पर 90% की बिना पर्यवेक्षण सटीकता हासिल की, और SVAMP पर 82.3% तक पहुंचा। इसके अलावा, विखंडित विधियों जैसे PromptBreeder की तुलना में, PromptWizard के एपीआई कॉल और टोकन उपयोग में 60 गुना तक की कमी आई है, जो संसाधनों की सीमितता में इसकी प्रभावशीलता को दर्शाता है।
PromptWizard की सफलता इसकी अभिनव अनुक्रम अनुकूलन, मार्गदर्शक आलोचना और विशेषज्ञ भूमिकाओं के एकीकरण में निहित है, जो इसे विशेष कार्यों के लिए प्रभावी ढंग से अनुकूलित करने और अच्छी व्याख्यात्मकता रखने में सक्षम बनाता है। यह प्रगति स्वचालित ढांचे की प्राकृतिक भाषा प्रसंस्करण कार्यप्रवाह में महत्वपूर्णता को इंगित करती है, जो उन्नत एआई तकनीकों के अधिक प्रभावी और आर्थिक अनुप्रयोग को बढ़ावा देने की उम्मीद करती है।
ब्लॉग: https://www.microsoft.com/en-us/research/blog/promptwizard-the-future-of-prompt-optimization-through-feedback-driven-self-evolving-prompts/
परियोजना कोड: https://github.com/microsoft/PromptWizard?tab=readme-ov-file
पत्र: https://www.microsoft.com/en-us/research/publication/promptwizard-task-aware-agent-driven-prompt-optimization-framework/
मुख्य बिंदु:
🌟 PromptWizard एक नई प्रकार का एआई ढांचा है, जो बड़े भाषा मॉडल के संकेतों को अनुकूलित करने और मॉडल प्रदर्शन को बढ़ाने के लिए है।
🔍 यह ढांचा आलोचनात्मक तंत्र और फीडबैक चक्र को मिलाकर, कई संकेत विविधताओं को प्रभावी ढंग से उत्पन्न और मूल्यांकन करने में सक्षम है।
💰 PromptWizard ने कई कार्यों में उत्कृष्ट सटीकता दिखाई है, और संसाधनों की खपत और लागत को काफी कम कर दिया है।
