Die ukrainische Website Trilegangers, spezialisiert auf 3D-Modelle des menschlichen Körpers, erlebte kürzlich einen beispiellosen Traffic-Angriff, der zu einem Serverausfall führte. Die Website bietet 3D-Künstlern und Spieleentwicklern eine riesige Datenbank an 3D-Modellen des menschlichen Körpers, geriet aber durch den häufigen Zugriff des OpenAI-Crawlers GPTBot in Schwierigkeiten.
Laut Mitarbeitern von Trilegangers wurde der Zugriff, obwohl die Nutzungsbedingungen das unerlaubte Crawlen und die unerlaubte Verwendung ausdrücklich verbieten, durch eine fehlerhafte Konfiguration der robots.txt-Datei ermöglicht, die den Crawler-Zugriff hätte verhindern sollen. Die Serverlogs zeigen, dass der OpenAI GPTBot-Crawler über mehr als 600 verschiedene IP-Adressen zehntausende Anfragen stellte, was zu einem Ausfall der Website führte – ähnlich einem Distributed-Denial-of-Service (DDoS)-Angriff.
OpenAI erklärt in seinen Crawler-Richtlinien, dass Websites, die den Zugriff von GPTBot verhindern möchten, dies in der robots.txt-Datei einstellen müssen. Trilegangers war sich dessen jedoch nicht bewusst, was zu der aktuellen Situation führte. Obwohl eine robots.txt-Datei nicht gesetzlich vorgeschrieben ist, könnte das Crawlen durch GPTBot dennoch gegen die Bestimmungen verstoßen, wenn die Website die unerlaubte Nutzung bereits untersagt hat.
Durch die Nutzung von Amazon AWS-Servern stiegen die Bandbreiten- und Traffickosten für Trilegangers drastisch an. Um auf diesen Vorfall zu reagieren, hat Trilegangers die robots.txt-Datei korrekt konfiguriert und blockiert über Cloudflare den Zugriff verschiedener Crawler, darunter GPTBot. Diese Maßnahme soll die Serverbelastung effektiv reduzieren und den normalen Website-Betrieb gewährleisten.
Dieser Vorfall lenkt die Aufmerksamkeit auf das Verhalten von Web-Crawlern. Besonders im Kontext der zunehmenden Entwicklung von KI-Technologien stellt sich die Frage nach dem Ausgleich zwischen technischer Anwendung und Urheberrechtsschutz als eine wichtige Herausforderung dar.