Una investigación reciente ha descubierto que cientos de sitios web intentaron bloquear a la compañía de inteligencia artificial Anthropic de rastrear su contenido, pero terminaron bloqueando bots erróneos debido a instrucciones obsoletas. Este fenómeno destaca las dificultades que enfrentan actualmente los propietarios de sitios web al lidiar con el cambiante ecosistema de rastreadores de IA.

El rastreador web ClaudeBot de Anthropic ha accedido con frecuencia al sitio web de iFixit en 24 horas, aparentemente violando los términos de uso, utilizando contenido sin autorización y consumiendo recursos de desarrollo. iFixit ha limitado el acceso del rastreador web mediante la adición de la extensión crawl-delay en robots.txt. Este incidente también ha afectado a otros sitios web, como Read the Docs y Freelancer.com. Empresas de IA como OpenAI rechazan el acceso de los rastreadores web a través de robots.txt

Reddit anunció recientemente que reforzará sus medidas de protección de datos, dirigidas directamente a las empresas de IA y otras herramientas de extracción de datos. Esta medida representa la creciente tensión entre las plataformas de redes sociales y la industria de la inteligencia artificial.