ओपन-सोर्स वेब स्क्रैपर प्रोजेक्ट Crawl4 AI ने हाल ही में v0.4.1 संस्करण जारी किया है, जो कई महत्वपूर्ण अपडेट लाता है। सबसे मायने रखने वाली बात यह है कि इसमें नया पाठ्य मोड (Text-Only Mode) कार्यक्षमता जोड़ी गई है, जो संसाधन लोडिंग रणनीति को बेहतर बनाकर क्रॉलिंग दक्षता को मूल रूप से 3-4 गुना बढ़ा देती है। इस अपडेट का मुख्य उद्देश्य स्क्रैपर को और तेज और अधिक स्मार्ट बनाना है, प्रोजेक्ट के देखरेखकर्ता ने कहा कि विशेष रूप से आधुनिक वेबपृष्ठों को संभालते समय, नया संस्करण महत्वपूर्ण लाभ दिखाता है। इस अपडेट की एक प्रमुख विशेषता नई पाठ्य मोड है।

कृत्रिम बुद्धिमत्ता के युग में, बड़े भाषा मॉडल (LLM) जैसे GPT-3 और BERT उच्च गुणवत्ता वाले डेटा की मांग कर रहे हैं। हालाँकि, इन डेटा को ऑनलाइन मैन्युअल रूप से वर्गीकृत करना न केवल समय लेने वाला होता है, बल्कि अक्सर इसे बढ़ाना भी मुश्किल होता है। इससे डेवलपर्स के लिए एक महत्वपूर्ण चुनौती उत्पन्न होती है, विशेषकर जब बहुत सारे डेटा की आवश्यकता होती है। पारंपरिक वेब क्रॉलर और डेटा खींचने वाले उपकरण संरचित डेटा निकालने में सीमित क्षमताएँ रखते हैं, हालाँकि वे वेब डेटा एकत्र कर सकते हैं, वे अक्सर डेटा को LLM प्रसंस्करण के लिए उपयुक्त प्रारूप में फ़ॉर्मेट करने में असमर्थ होते हैं।