Crawlee é uma biblioteca Python para construção de crawlers robustos, extraindo dados para IA, LLMs, RAG ou GPTs. Oferece uma interface unificada para lidar com tarefas de scraping HTTP e de navegadores headless, suportando scraping paralelo automático ajustado com base nos recursos do sistema. Escrito em Python com dicas de tipo, melhora a experiência de desenvolvimento e reduz erros. Inclui recursos como re-tentativas automáticas, integração de rotação de proxies e gerenciamento de sessões, roteamento de requisições configurável, filas de URLs persistentes e opções de armazenamento plugáveis. Comparado ao Scrapy, o Crawlee oferece suporte nativo para scraping de navegadores headless, uma interface limpa e elegante e é totalmente baseado em I/O assíncrono padrão.