हाल ही में, स्टैनफोर्ड विश्वविद्यालय और अन्य संस्थानों के शोधकर्ताओं ने हजारों लेखों को जैसे कि Nature, ICLR आदि प्रमुख सम्मेलनों में, GPT-4 में समीक्षात्मक टिप्पणियाँ उत्पन्न करने के लिए डाला, और फिर इन टिप्पणियों की तुलना मानव समीक्षकों की टिप्पणियों से की। परिणामों से पता चला कि, GPT-4 की समीक्षात्मक टिप्पणियाँ मानव समीक्षकों के साथ 50% से अधिक मेल खाती हैं, और 82% लेखकों के लिए भी यह बहुत सहायक है। शोध ने यह भी पाया कि, मानव समीक्षकों की तुलना में, GPT-4 लेखों के प्रभाव कारक पर अधिक ध्यान केंद्रित करता है, और पूरक विघटन प्रयोगों जैसे विवरणों की परवाह नहीं करता। उपयोगकर्ताओं का सामान्य मत है कि GPT-4 द्वारा उत्पन्न समीक्षात्मक प्रतिक्रिया, समीक्षात्मक सटीकता बढ़ा सकती है और मानव श्रम लागत को कम कर सकती है। यह अध्ययन दर्शाता है कि LLM का उपयोग करके शैक्षणिक लेख समीक्षाओं में सहायता करना संभव है।
क्या GPT-4 ने Nature के समीक्षक के रूप में कार्य किया? Stanford और Tsinghua के पूर्व छात्रों का शोध, आधे से अधिक समीक्षाएँ मानव समीक्षाओं के समान
