इज़राइल प्रौद्योगिकी संस्थान द्वारा आयोजित एक नवीनतम अध्ययन से पता चलता है कि बड़े भाषा मॉडल (LLM) संभवतः "गहराई में छिपे हुए" हैं, जो वास्तव में प्रदर्शित से अधिक ज्ञान रखते हैं। शोधकर्ताओं ने पाया कि LLM के आंतरिक प्रतिनिधित्व ने उनके आउटपुट की सहीता के बारे में जानकारी को कोड किया है, अर्थात, भले ही वे अंततः गलत उत्तर उत्पन्न करते हैं, वे आंतरिक रूप से सही उत्तर की पहचान कर सकते हैं।
शोध टीम ने LLM द्वारा लंबे पाठ उत्पन्न करने में होने वाली गलतियों का गहन विश्लेषण किया, जो इसके वास्तविक दुनिया में अनुप्रयोग परिदृश्य के करीब है। उन्होंने एक त्रुटि पहचान डेटासेट बनाया, जिसमें मॉडल द्वारा उत्पन्न उत्तरों की तुलना वास्तविक उत्तरों से की गई, ताकि उनकी सहीता का निर्धारण किया जा सके, और इसी आधार पर, LLM के आंतरिक प्रतिनिधित्व में वास्तविकता संकेतों को कोड करने के स्थान का अध्ययन किया गया।
शोध ने पाया कि पिछले अध्ययनों की तुलना में, जो अंतिम उत्पन्न चिह्न या औसत पर ध्यान केंद्रित करते थे, वास्तविकता जानकारी "सटीक उत्तर चिह्नों" में केंद्रित होती है, अर्थात् वे चिह्न जो संशोधित होने पर उत्तर की सहीता को बदलते हैं। उदाहरण के लिए, प्रश्न "कनेक्टिकट का राजधानी क्या है?" के लिए, सटीक उत्तर चिह्न "हार्टफोर्ड" है।
सटीक उत्तर चिह्नों की पहचान करने के लिए, शोधकर्ताओं ने एक बाहरी एल्गोरिदम का उपयोग किया, जो मॉडल के लंबे उत्तरों से सटीक उत्तर निकालने में सक्षम था। प्रयोग के परिणाम दिखाते हैं कि सभी मूल्यांकित LLM अपने आउटपुट से सटीक उत्तर निकालने में सक्षम हैं।
विभिन्न मॉडलों और डेटासेट पर प्रयोग करने के बाद, शोधकर्ताओं ने पाया कि सटीक उत्तर चिह्नों का उपयोग करके त्रुटि पहचान विधियों के प्रदर्शन में महत्वपूर्ण सुधार हो सकता है, विशेष रूप से मॉडल के आंतरिक प्रतिनिधित्व की खोज करते समय।
और भी आश्चर्यजनक बात यह है कि भले ही मॉडल उत्पन्न करते समय सही उत्तर के प्रति कोई प्राथमिकता नहीं दिखाता हो, फिर भी पहचानकर्ता सही उत्तर को प्रभावी रूप से पहचानने में सक्षम होता है। यह संकेत करता है कि LLM के आंतरिक कोडिंग और बाहरी व्यवहार के बीच एक महत्वपूर्ण विसंगति है, अर्थात, भले ही मॉडल आंतरिक रूप से सही उत्तर जानता हो, यह वास्तविक पाठ उत्पन्न करते समय गलत उत्तर दे सकता है।
यह अध्ययन LLM की त्रुटि विश्लेषण और सुधार के लिए महत्वपूर्ण महत्व रखता है। LLM के आंतरिक प्रतिनिधित्व में वास्तविकता संकेतों के कोडिंग तरीके को गहराई से समझने के माध्यम से, अधिक प्रभावी त्रुटि पहचान और सुधार विधियों का विकास किया जा सकता है, जिससे LLM की विश्वसनीयता और उपयोगिता में सुधार हो सके।
पत्र का पता: https://arxiv.org/pdf/2410.02707
