क्या AI वास्तव में "दिमाग" विकसित कर रहा है?! मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी के नवीनतम शोध से पता चलता है कि बड़े भाषा मॉडल (LLM) की आंतरिक संरचना, मानव मस्तिष्क के साथ आश्चर्यजनक समानताएँ रखती है!
इस अध्ययन नेSparse Autoencoder तकनीक का उपयोग करके LLM के सक्रियण स्थान का गहन विश्लेषण किया, और तीन स्तरों की संरचनात्मक विशेषताओं की खोज की, जो चकित करने वाली हैं:
पहले, सूक्ष्म स्तर पर, शोधकर्ताओं ने "क्रिस्टल" जैसी संरचनाओं की उपस्थिति पाई। ये "क्रिस्टल" के चेहरे समांतर चतुर्भुज या ट्रैपेज़ियम से बने होते हैं, जो हमारे परिचित शब्दों के उपमा जैसे "पुरुष:महिला::राजा:रानी" के समान होते हैं।
और भी आश्चर्यजनक बात यह है कि, कुछ अप्रासंगिक अवरोधों (जैसे शब्दों की लंबाई) को हटाने के लिए रैखिक विभेदन विश्लेषण तकनीक का उपयोग करने के बाद, ये "क्रिस्टल" संरचनाएँ और भी स्पष्ट हो जाती हैं।
दूसरे, मध्य स्तर पर, शोधकर्ताओं ने पाया कि LLM के सक्रियण स्थान में मानव मस्तिष्क के कार्यात्मक विभाजन के समान एक मॉड्यूलर संरचना है।
उदाहरण के लिए, गणित और कोड से संबंधित विशेषताएँ एक साथ एकत्रित होती हैं, जो मानव मस्तिष्क के कार्यात्मक लोब के समान एक "मस्तिष्क लोब" बनाती हैं। विभिन्न मापदंडों के माध्यम से मात्रात्मक विश्लेषण करके, शोधकर्ताओं ने इन "मस्तिष्क लोब" की स्थानिक स्थानीयता की पुष्टि की, जो दर्शाती है कि जो विशेषताएँ एक साथ प्रकट होती हैं, वे स्थानिक रूप से अधिक एकत्रित होती हैं, जो यादृच्छिक वितरण की अपेक्षाओं से बहुत अधिक होती हैं।
सूक्ष्म स्तर पर, शोधकर्ताओं ने पाया कि LLM विशेषता बिंदु बादल की समग्र संरचना समदिशीय नहीं है, बल्कि यह एक शक्ति नियम विशेषता मान वितरण प्रस्तुत करती है, और यह वितरण मध्य स्तर पर सबसे स्पष्ट है।
शोधकर्ताओं ने विभिन्न स्तरों की क्लस्टर एंट्रॉपी का मात्रात्मक विश्लेषण भी किया, और पाया कि मध्य स्तर की क्लस्टर एंट्रॉपी कम है, जो दर्शाती है कि विशेषता प्रस्तुति अधिक केंद्रित है, जबकि प्रारंभिक और अंतिम स्तर की क्लस्टर एंट्रॉपी अधिक है, जो दर्शाती है कि विशेषता प्रस्तुति अधिक वितरित है।
यह अध्ययन हमें बड़े भाषा मॉडल की आंतरिक तंत्र को समझने के लिए एक नई दृष्टिकोण प्रदान करता है, और भविष्य में अधिक शक्तिशाली और बुद्धिमान AI सिस्टम विकसित करने के लिए आधार तैयार करता है।
