बड़े भाषा मॉडल (LLMs) जैसे कि GPT-4 मॉडल का उपयोग चैट प्लेटफ़ॉर्म ChatGPT पर बड़े पैमाने पर किया जा रहा है, जिसने आश्चर्यजनक क्षमताएँ प्रदर्शित की हैं, जैसे कि लिखित संकेतों को समझना और कई भाषाओं में उपयुक्त उत्तर उत्पन्न करना। इसने कुछ लोगों को यह सोचने पर मजबूर कर दिया है: क्या इन मॉडलों द्वारा उत्पन्न पाठ और उत्तर इतने वास्तविक हैं कि उन्हें मानव द्वारा लिखित समझा जा सकता है?
प्रत्येक गवाह प्रकार की पास दर (बाएँ) और पूछताछकर्ता का आत्मविश्वास (दाएँ)।
हाल ही में, कैलिफोर्निया विश्वविद्यालय, सैन डिएगो के शोधकर्ताओं ने एक अध्ययन किया जिसका नाम ट्यूरिंग टेस्ट है, जिसका उद्देश्य मशीनों द्वारा मानव बुद्धिमत्ता के स्तर को मापना है। उनके शोध के परिणामों से पता चला है कि लोग GPT-4 मॉडल और मानव प्रतिनिधि के बीच दो-व्यक्ति संवाद करते समय दोनों के बीच अंतर बताने में कठिनाई महसूस करते हैं।
शोध पत्र को arXiv सर्वर पर पहले ही प्रकाशित किया गया है, जिसके परिणाम दर्शाते हैं कि लगभग 50% बातचीत में GPT-4 को मानव के रूप में गलत समझा जा सकता है। हालाँकि प्रारंभिक प्रयोगों ने परिणामों को प्रभावित करने वाले कुछ चर को पर्याप्त रूप से नियंत्रित नहीं किया, लेकिन उन्होंने अधिक विस्तृत परिणाम प्राप्त करने के लिए दूसरे प्रयोग को करने का निर्णय लिया।
इन चार वार्तालापों में से एक मानव गवाह के साथ थी, जबकि बाकी सभी आर्टिफिशियल इंटेलिजेंस के साथ थीं।
अपने अध्ययन में, लोगों को यह तय करने में कठिनाई हुई कि GPT-4 मानव है या नहीं। GPT-3.5 और ELIZA मॉडल की तुलना में, लोग अक्सर यह判断 करने में सक्षम होते हैं कि बाद वाला मशीन है, लेकिन GPT-4 को मानव या मशीन के रूप में पहचानने की उनकी क्षमता यादृच्छिक अनुमान से बेहतर नहीं थी।
शोध टीम ने "क्या यह मानव है या नहीं" नामक एक द्वि-व्यक्ति ऑनलाइन खेल का डिज़ाइन किया, जिसमें प्रतिभागी एक अन्य व्यक्ति या एक AI मॉडल के साथ बातचीत करते हैं। प्रत्येक खेल में, एक मानव पूछताछकर्ता एक "गवाह" के साथ बातचीत करता है, ताकि यह निर्धारित किया जा सके कि क्या वह व्यक्ति मानव है।
हालांकि असली मानव वास्तव में अधिक सफल होते हैं, लगभग दो तिहाई समय में पूछताछकर्ता को यह विश्वास दिलाने में सफल होते हैं कि वे मानव हैं, लेकिन शोध के परिणाम बताते हैं कि वास्तविक जीवन में, लोग यह सही तरीके से नहीं पहचान सकते हैं कि वे मानव या AI प्रणाली के साथ बातचीत कर रहे हैं।
