Reddit unternimmt Schritte, um zu verhindern, dass KI-Unternehmen seine Inhalte crawlen, oder zumindest um dafür eine Gebühr zu verlangen.
Anfang dieser Woche kündigte Reddit an, sein Robot Exclusion Protocol, auch bekannt als seine robots.txt-Datei, zu ändern. Diese scheinbar trockene Änderung ist Teil größerer Verhandlungen/Streitigkeiten zwischen den Besitzern von Inhalten, die KI-Unternehmen dringend für das Training ihrer Sprachmodelle benötigen.
Bildquelle: Bild wurde mit KI generiert, Bildlizenzgeber Midjourney
„Robots.txt“ ist eine Methode, mit der Websites Dritten mitteilen, wie sie gecrawlt werden dürfen. Ein klassisches Beispiel sind Websites, die Google erlauben, sie zu crawlen, um sie in den Suchergebnissen einzubeziehen.
Im Kontext der künstlichen Intelligenz ist der Gegenwert nicht so offensichtlich. Wenn das Geschäftsmodell Ihrer Website darauf basiert, Klicks und Aufmerksamkeit zu generieren, ist es nicht attraktiv, KI-Unternehmen zu erlauben, Ihre Inhalte zu nutzen, ohne dafür Traffic zu liefern (in einigen Fällen wird Ihre Arbeit sogar direkt plagiiert).
Daher scheint Reddit durch die Änderung seiner robots.txt-Datei und die fortgesetzte Einschränkung und Blockierung unbekannter Bots und Crawler zu versuchen, die kritisierte Vorgehensweise von Unternehmen wie Perplexity AI zu verhindern.
Wichtigste Punkte:
- 📢 Reddit unternimmt Schritte, um zu verhindern, dass KI-Unternehmen seine Inhalte crawlen, oder zumindest um dafür eine Gebühr zu verlangen.
- 🤖 Robots.txt ist eine Methode, mit der Websites Dritten mitteilen, wie sie gecrawlt werden dürfen. Ein klassisches Beispiel sind Websites, die Google erlauben, sie zu crawlen, um sie in den Suchergebnissen einzubeziehen.
- 💻 Reddit ändert seine robots.txt-Datei und schränkt weiterhin unbekannte Bots und Crawler ein und blockiert sie, um die kritisierte Vorgehensweise von Unternehmen wie Perplexity AI zu verhindern.