Cloudflare bot zum Schutz vor unerlaubtem Zugriff durch KI-Bots auf Webseiteninhalte.
Hintergrund ist die zunehmende Ablehnung von KI-Bots durch Kunden. Cloudflare betont in einer Erklärung, dass man Content-Ersteller im Internet schützen möchte.
Bildquelle: KI-generiertes Bild, Lizenzgeber Midjourney
„Uns ist bewusst, dass Kunden nicht wollen, dass KI-Bots – insbesondere solche, die dies unehrlich tun – auf ihre Webseiten zugreifen. Daher haben wir eine neue Funktion hinzugefügt, mit der alle KI-Bots mit einem Klick blockiert werden können.“
Website-Besitzer hatten bereits eine relativ effektive Methode, um Bots zu blockieren: die weit verbreitete robots.txt-Datei. Wird diese im Stammverzeichnis einer Website platziert, sollten automatische Webcrawler die Anweisungen beachten und die angegebenen Bereiche nicht crawlen.
Angesichts der weit verbreiteten Auffassung, dass generative KI auf Diebstahl basiert, und zahlreicher Rechtsstreitigkeiten gegen KI-Unternehmen, bieten Unternehmen, die Inhalte „bereinigen“, Webpublishern großzügig die Möglichkeit, an diesem Diebstahl nicht teilzunehmen.
Im August letzten Jahres veröffentlichte OpenAI Anleitungen zur Verwendung von robots.txt-Direktiven, um seinen GPTbot-Crawler zu blockieren – wahrscheinlich aufgrund der Bedenken hinsichtlich der unbefugten Nutzung von Inhalten für das KI-Training. Google folgte einen Monat später mit ähnlichen Maßnahmen. Bereits im September letzten Jahres bot Cloudflare eine Möglichkeit an, konforme KI-Bots zu blockieren; angeblich nutzen 85 % der Kunden diese Funktion.
Wichtigste Punkte:
⭐️ Cloudflare bietet eine Funktion zum Blockieren von KI-Webcrawlern mit einem Klick, um sicherzustellen, dass Webseiteninhalte nicht von nicht autorisierten KI-Bots verwendet werden.
⭐️ Generative KI wird als Quelle von Diebstahl angesehen, und verschiedene Unternehmen ergreifen Maßnahmen, um zu verhindern, dass KI-Bots Inhalte ohne Erlaubnis verwenden.
⭐️ Cloudflare nutzt Machine-Learning-Modelle, um getarnte Webcrawler zu erkennen und zu blockieren und die Rechte von Content-Erstellern im Internet zu schützen.