Crawlee est une bibliothèque Python pour la construction de robots d'exploration web fiables, extrayant des données pour l'IA, les LLM, les RAG ou les GPT. Elle offre une interface unifiée pour gérer les tâches de scraping HTTP et de navigation sans tête, prenant en charge le scraping parallèle automatique adapté aux ressources système. Écrite en Python avec des annotations de type, Crawlee améliore l'expérience de développement et réduit les erreurs. Elle inclut des fonctionnalités telles que les relances automatiques, l'intégration de la rotation de proxy et de la gestion de session, le routage de requêtes configurable, la persistance des files d'URL et des options de stockage extensibles. Contrairement à Scrapy, Crawlee offre une prise en charge native du scraping de navigateurs sans tête, une interface simple et élégante, et repose entièrement sur l'E/S asynchrone standard.