रात भर जागना और साहित्य समीक्षा? लेख लिखने में परेशानी हो रही है? चिंता मत करो! AI2 के शोध विशेषज्ञ अपने नवीनतम काम OpenScholar के साथ तुम्हारी मदद के लिए आए हैं! यह शोध उत्पादकता का अद्भुत उपकरण है, जो साहित्य समीक्षा को पार्क में घूमने जैसा आसान और सुखद बना देता है!
OpenScholar का सबसे बड़ा रहस्य हथियार एक ऐसा प्लेटफार्म है जिसे OpenScholar-Datastore (OSDS) कहा जाता है, जिसमें 4.5 करोड़ ओपन एक्सेस पेपर और 2.37 करोड़ लेख खंड शामिल हैं। इतनी विशाल ज्ञान भंडार के साथ, OpenScholar विभिन्न शोध चुनौतियों का सामना आसानी से कर सकता है।
जब तुम किसी शोध समस्या का सामना करते हो, तो OpenScholar सबसे पहले अपने सक्षम सहायक - खोजकर्ता और पुनर्व्यवस्थापक को भेजता है, जो OSDS से तेजी से तुम्हारी समस्या से संबंधित लेख खंडों को छानता है। इसके बाद, एक भाषा मॉडल (LM) संदर्भित साहित्य के साथ एक पूर्ण उत्तर प्रदान करता है। और सबसे शानदार बात यह है कि OpenScholar तुम्हारी प्राकृतिक भाषा की फीडबैक के आधार पर उत्तर को लगातार सुधारता है, गायब जानकारी को जोड़ता है, जब तक तुम संतुष्ट नहीं हो जाते।
OpenScholar न केवल स्वयं शक्तिशाली है, बल्कि छोटे और अधिक प्रभावी मॉडल को प्रशिक्षित करने में भी मदद करता है। शोधकर्ताओं ने OpenScholar की प्रक्रिया का उपयोग करके उच्च गुणवत्ता वाले प्रशिक्षण डेटा का विशाल सेट तैयार किया, और इन डेटा का उपयोग करके OpenScholar-8B नामक 80 अरब पैरामीटर वाला भाषा मॉडल और अन्य खोज मॉडल का प्रशिक्षण किया।
OpenScholar की लड़ाई की ताकत का व्यापक परीक्षण करने के लिए, शोधकर्ताओं ने एक नया परीक्षण मंच बनाया जिसे SCHOLARQABENCH कहा जाता है। इस मंच पर विभिन्न प्रकार के वैज्ञानिक साहित्य समीक्षा कार्य सेट किए गए हैं, जिनमें बंद श्रेणी, बहुविकल्पीय और लंबे लेखन शामिल हैं, जो कंप्यूटर विज्ञान, बायोमेडिकल, भौतिकी और न्यूरोसाइंस जैसे कई क्षेत्रों को कवर करते हैं। प्रतियोगिता की निष्पक्षता सुनिश्चित करने के लिए, SCHOLARQABENCH ने विशेषज्ञ समीक्षा, स्वचालित मापदंड और उपयोगकर्ता अनुभव परीक्षण सहित कई मूल्यांकन विधियों को अपनाया।
कई राउंड की तीव्र प्रतियोगिता के बाद, OpenScholar अंततः सामने आया! प्रयोगात्मक परिणाम दर्शाते हैं कि यह सभी कार्यों में उत्कृष्ट प्रदर्शन करता है, यहां तक कि मानव विशेषज्ञों को भी पार कर जाता है! यह क्रांतिकारी परिणाम निश्चित रूप से शोध क्षेत्र में एक क्रांति लाएगा, जिससे वैज्ञानिक साहित्य समीक्षा की कठिनाई से मुक्त होकर विज्ञान के रहस्यों की खोज पर ध्यान केंद्रित कर सकेंगे!
OpenScholar की शक्तिशाली विशेषताएं इसकी अद्वितीय आत्म-फीडबैक खोज बढ़ाने वाली तर्क प्रक्रिया के कारण हैं। सरल शब्दों में, यह पहले खुद से सवाल पूछता है, फिर अपने उत्तर के आधार पर उत्तर में सुधार करता है, और अंत में सबसे सही उत्तर तुम्हारे सामने प्रस्तुत करता है। क्या यह अद्भुत नहीं है?
विशेष रूप से, OpenScholar की आत्म-फीडबैक तर्क प्रक्रिया तीन चरणों में विभाजित है: प्रारंभिक उत्तर निर्माण, फीडबैक निर्माण और फीडबैक एकीकरण। सबसे पहले, भाषा मॉडल खोजे गए लेख खंडों के आधार पर एक प्रारंभिक उत्तर बनाता है। फिर, यह एक कठोर परीक्षक की तरह अपने उत्तर की आत्म-समालोचना करता है, कमियों को पहचानता है, और कुछ प्राकृतिक भाषा फीडबैक उत्पन्न करता है, जैसे "उत्तर में केवल प्रश्न-उत्तर कार्य के प्रयोगात्मक परिणाम शामिल हैं, कृपया अन्य प्रकार के कार्यों के परिणाम जोड़ें"। अंत में, भाषा मॉडल इन फीडबैक के आधार पर संबंधित साहित्य को फिर से खोजता है और सभी जानकारी को एकीकृत करता है, एक अधिक पूर्ण उत्तर उत्पन्न करता है।
छोटे लेकिन समान रूप से शक्तिशाली मॉडल को प्रशिक्षित करने के लिए, शोधकर्ताओं ने OpenScholar की आत्म-फीडबैक तर्क प्रक्रिया का उपयोग करके उच्च गुणवत्ता वाले प्रशिक्षण डेटा की एक बड़ी मात्रा उत्पन्न की। उन्होंने सबसे अधिक उद्धृत लेखों को डेटाबेस से चुना, फिर इन लेखों के सारांश के आधार पर कुछ जानकारी खोजने वाले प्रश्न बनाए, और अंत में OpenScholar की तर्क प्रक्रिया का उपयोग करके उच्च गुणवत्ता के उत्तर उत्पन्न किए। ये उत्तर और मध्यवर्ती उत्पन्न फीडबैक जानकारी मूल्यवान प्रशिक्षण डेटा बनाते हैं। शोधकर्ताओं ने इन डेटा को मौजूदा सामान्य क्षेत्र निर्देश परिष्करण डेटा और वैज्ञानिक क्षेत्र निर्देश परिष्करण डेटा के साथ मिलाकर OpenScholar-8B नामक 80 अरब पैरामीटर वाला भाषा मॉडल तैयार किया।
OpenScholar और अन्य समान मॉडलों के प्रदर्शन का व्यापक मूल्यांकन करने के लिए, शोधकर्ताओं ने SCHOLARQABENCH नामक एक नया मानक परीक्षण भी बनाया। इस मानक परीक्षण में 2967 विशेषज्ञ द्वारा लिखित साहित्य समीक्षा प्रश्न शामिल हैं, जो कंप्यूटर विज्ञान, भौतिकी, बायोमेडिकल और न्यूरोसाइंस जैसे चार क्षेत्रों को कवर करते हैं। प्रत्येक प्रश्न के लिए विशेषज्ञ द्वारा लिखित लंबा उत्तर है, जिसमें प्रत्येक उत्तर को पूरा करने में विशेषज्ञ को लगभग एक घंटे का समय लगता है। SCHOLARQABENCH ने एक बहुआयामी मूल्यांकन विधि को भी अपनाया है, जो स्वचालित मापदंडों और मानव मूल्यांकन को मिलाकर, मॉडल द्वारा उत्पन्न उत्तरों की गुणवत्ता का व्यापक मूल्यांकन कर सकती है।
प्रयोगात्मक परिणाम बताते हैं कि OpenScholar SCHOLARQABENCH पर अन्य मॉडलों की तुलना में बहुत बेहतर प्रदर्शन करता है, यहां तक कि कुछ क्षेत्रों में मानव विशेषज्ञों को भी पार करता है! उदाहरण के लिए, कंप्यूटर विज्ञान के क्षेत्र में, OpenScholar-8B की सही दर GPT-4o से 5% अधिक है, और PaperQA2 से 7% अधिक है। इसके अलावा, OpenScholar द्वारा उत्पन्न उत्तरों की उद्धरण सटीकता भी मानव विशेषज्ञों के समान है, जबकि GPT-4o की 78-90% उत्तर बिना किसी आधार के होती है।
OpenScholar का उदय निश्चित रूप से शोध क्षेत्र में एक बड़ा वरदान है! यह न केवल शोधकर्ताओं को समय और प्रयास की बचत करने में मदद करता है, बल्कि साहित्य समीक्षा की गुणवत्ता और दक्षता को भी बढ़ाता है। विश्वास है कि निकट भविष्य में, OpenScholar शोधकर्ताओं का एक अविभाज्य सहायक बन जाएगा!
पेपर का पता: https://arxiv.org/pdf/2411.14199
परियोजना का पता: https://github.com/AkariAsai/OpenScholar
