क्रॉलि एक पाइथन वेब क्रॉलर और ब्राउज़र ऑटोमेशन लाइब्रेरी है जिसका उपयोग विश्वसनीय क्रॉलर बनाने के लिए किया जाता है, जो AI, LLMs, RAG या GPTs के लिए डेटा निकालते हैं। यह HTTP और हेडलेस ब्राउज़र क्रॉलिंग कार्यों को संभालने के लिए एक एकीकृत इंटरफ़ेस प्रदान करता है, स्वचालित समानांतर क्रॉलिंग का समर्थन करता है, और सिस्टम संसाधनों के आधार पर अनुकूलित होता है। क्रॉलि पाइथन में लिखा गया है, जिसमें प्रकार की सुझाव शामिल हैं, जिससे विकास अनुभव बेहतर होता है और त्रुटियों को कम किया जाता है। इसमें स्वचालित पुनः प्रयास, एकीकृत प्रॉक्सी रोटेशन और सत्र प्रबंधन, कॉन्फ़िगर करने योग्य अनुरोध रूटिंग, लगातार URL कतार, और प्लगएबल स्टोरेज विकल्प जैसे कार्य शामिल हैं। स्क्रैपी की तुलना में, क्रॉलि हेडलेस ब्राउज़र क्रॉलिंग के लिए देशी समर्थन प्रदान करता है, एक साफ और सुरुचिपूर्ण इंटरफ़ेस है, और पूरी तरह से मानक एसिंक्रोनस IO पर आधारित है।