हाल ही में, यूक्रेन की एक वेबसाइट Trilegangers, जो मानव शरीर के 3D मॉडल पर केंद्रित है, को अभूतपूर्व ट्रैफिक हमले का सामना करना पड़ा, जिससे उसके सर्वर ठप हो गए। यह वेबसाइट 3D कलाकारों और गेम डेवलपर्स को विशाल मानव शरीर के 3D मॉडल डेटा प्रदान करने के लिए समर्पित है, लेकिन OpenAI के वेब क्रॉलर GPTBot द्वारा बार-बार डेटा खींचे जाने के कारण संकट में पड़ गई।
Trilegangers के कर्मचारियों के अनुसार, हालांकि वेबसाइट के उपयोग की शर्तों में बिना अनुमति के डेटा खींचने और उपयोग करने पर स्पष्ट रूप से प्रतिबंध लगाया गया है, लेकिन robots.txt फ़ाइल को सही ढंग से सेट नहीं करने के कारण क्रॉलर की पहुंच को रोकने में असफल रहे, जिससे अंततः सर्वर पर भार अधिक हो गया। सर्वर लॉग के अनुसार, OpenAI के GPTBot क्रॉलर ने 600 से अधिक विभिन्न आईपी पते के माध्यम से हजारों अनुरोध किए, जिसके परिणामस्वरूप वेबसाइट सामान्य रूप से कार्य करने में असमर्थ रही, जैसे कि इसे वितरित अस्वीकृति सेवा (DDoS) हमले का सामना करना पड़ा।
OpenAI ने अपने क्रॉलर विवरण में उल्लेख किया है कि यदि वेबसाइट GPTBot से सामग्री खींचना नहीं चाहती है, तो उसे robots.txt फ़ाइल में सेटिंग करनी होगी। हालांकि, Trilegangers ने इस बात का एहसास नहीं किया, जिससे वर्तमान संकट उत्पन्न हुआ। हालांकि robots.txt फ़ाइल कानूनी रूप से आवश्यक नहीं है, यदि वेबसाइट पहले से ही बिना अनुमति के उपयोग पर प्रतिबंध लगाती है, तो GPTBot का डेटा खींचना संबंधित नियमों का उल्लंघन कर सकता है।
इसके अलावा, अमेज़न AWS सर्वर का उपयोग करने के कारण, Trilegangers के बैंडविड्थ और ट्रैफिक की खपत में भी तेज़ी से वृद्धि हुई, जिससे उसे अतिरिक्त लागत का दबाव झेलना पड़ा। इस अचानक घटना का सामना करने के लिए, Trilegangers ने सही robots.txt फ़ाइल सेट की है और Cloudflare के माध्यम से GPTBot सहित कई क्रॉलरों की पहुंच को अवरुद्ध किया है, यह उपाय सर्वर के भार को प्रभावी ढंग से कम करने और वेबसाइट के सामान्य संचालन को सुनिश्चित करने की उम्मीद है।
यह घटना इंटरनेट क्रॉलिंग व्यवहार पर लोगों का ध्यान आकर्षित करती है, विशेष रूप से जब AI तकनीक तेजी से विकसित हो रही है, तकनीकी उपयोग और कॉपीराइट संरक्षण के बीच संतुलन कैसे बनाया जाए, यह एक विचार करने योग्य विषय बन गया है।
