OpenAI hat die Spezifikation für seinen Webcrawler GPTBot veröffentlicht und erklärt, dass die gesammelten Daten zur Verbesserung zukünftiger Modelle verwendet werden. Webseitenbetreiber können die Bereitstellung von Inhalten verweigern, und sobald Daten gecrawlt wurden, ist deren Entfernung aus öffentlichen Datensätzen schwierig. Einige Webseiten haben bereits Maßnahmen ergriffen, um OpenAIs Crawler zu blockieren, was jedoch weitere Diskussionen über Datenschutz und Compliance ausgelöst hat.
Googles Vorschlag, die Funktionsweise von Crawler-Protokollen neu zu gestalten, um Streitigkeiten über Datenrechte zu reduzieren, wurde als Reaktion auf OpenAIs Vorgehen präsentiert. Zusammenfassend behandelt dieser Artikel die Spezifikation von OpenAIs Crawler und die damit verbundenen rechtlichen und datenschutzrechtlichen Fragen.