HyperCrawl es el primer rastreador web diseñado para aplicaciones LLM (modelos de lenguaje grandes) y RAG (modelos generativos mejorados con recuperación). Su objetivo es desarrollar motores de búsqueda potentes. Introduce varios métodos avanzados que reducen significativamente el tiempo de rastreo de dominios y mejoran la eficiencia del proceso de recuperación. HyperCrawl forma parte de HyperLLM, un proyecto dedicado a construir la infraestructura del futuro para LLM, modelos que requieren menos recursos computacionales y superan el rendimiento de cualquier modelo existente.