Eine kürzlich durchgeführte Untersuchung zeigt, dass Hunderte von Websites versucht haben, das KI-Unternehmen Anthropic daran zu hindern, ihre Inhalte zu crawlen, jedoch aufgrund veralteter Anweisungen die falschen Bots blockiert haben. Dies unterstreicht die Schwierigkeiten, vor denen Website-Besitzer derzeit stehen, wenn sie mit dem sich ständig verändernden Ökosystem von KI-Crawlern umgehen müssen.

Der Webcrawler ClaudeBot von Anthropic hat die Website von iFixit innerhalb von 24 Stunden häufig besucht und dabei möglicherweise gegen die Nutzungsbedingungen verstoßen, indem er Inhalte ohne Genehmigung verwendet und Entwicklungsressourcen verbraucht hat. iFixit hat den Zugriff des Crawlers durch Hinzufügen einer crawl-delay-Erweiterung in der robots.txt-Datei eingeschränkt. Dieser Vorfall betrifft auch andere Websites wie Read the Docs und Freelancer.com. KI-Unternehmen wie OpenAI blockieren den Zugriff von Crawlern über robots.txt.

Reddit hat kürzlich angekündigt, seine Datenschutzmaßnahmen zu verschärfen und zielt damit direkt auf KI-Unternehmen und andere Datenkrabbler ab. Dieser Schritt markiert die zunehmend angespannten Beziehungen zwischen der Social-Media-Plattform und der KI-Industrie.