Der CEO von Reddit, Steve Huffman, gab kürzlich in einem Interview bekannt, dass das Unternehmen mit großen Technologieunternehmen Datenverwendungsvereinbarungen abschließen möchte. Unternehmen, die weiterhin Daten von Reddit crawlen wollen, müssen dafür bezahlen. Diese Maßnahme basiert auf bereits bestehenden Vereinbarungen mit Google und OpenAI, und Huffman hofft auf ähnliche Abkommen mit anderen Unternehmen.
Huffman nannte insbesondere Microsoft, Anthropic und Perplexity, die sich weigerten, über die Datenverwendung zu verhandeln, und kommentierte: „Das Blockieren dieser Unternehmen ist wirklich mühsam.“ Er betonte, dass Reddit ohne entsprechende Vereinbarungen keine Kontrolle über die Verwendung seiner Daten hat und diese nicht nachvollziehen kann. Daher blockiert das Unternehmen Firmen, die die Bedingungen nicht akzeptieren.
Um dieser Situation zu begegnen, hat Reddit in den letzten Monaten die Beschränkungen für Webcrawler verstärkt. Anfang Juli aktualisierte das Unternehmen seine robots.txt-Datei, um nicht autorisierte Crawler vom Zugriff abzuhalten. In der Folge stellten Nutzer fest, dass Reddit-Inhalte nur noch in den Google-Suchergebnissen, mit denen eine Vereinbarung besteht, zu finden waren, während sie in anderen Suchmaschinen wie Bing verschwanden.
Huffman kritisierte Microsoft dafür, Reddit-Daten ohne Erlaubnis zum Trainieren seiner KI verwendet und die Inhalte über die Bing-API an andere Suchmaschinen verkauft zu haben. Er zitierte den CEO von Microsoft AI, der öffentliche Daten im Internet als „Freeware“ bezeichnet hatte. Huffman sieht in dieser Aussage die Haltung einiger Technologieunternehmen gegenüber Internetinhalten wider.
Zum Verschwinden von Reddit-Inhalten aus Bing erklärte Jordis Ribas, der Leiter der Microsoft-Suche, dass dies daran liege, dass Reddit Bing den Zugriff auf seine Website verweigert. Ein Microsoft-Sprecher betonte, dass das Unternehmen die Anweisungen der Website-Anbieter zur Nutzung von Inhalten respektiert.
Huffman wies darauf hin, dass sich das Austauschmodell traditioneller Suchmaschinen verändert hat. Durch die Verschmelzung von Suche, Zusammenfassung und KI-Training wird das einfache Modell des Austauschs von Traffic gegen Inhalte komplexer. Reddit arbeitet zusammen mit traditionellen Medienverlagen an einem bezahlten Modell für die Bereitstellung von Informationen für generative KI.
Anthropic gab an, Reddit auf die Crawler-Blacklist gesetzt und die robots.txt-Einstellungen respektiert zu haben. Microsoft verweigerte eine Stellungnahme zu diesem Thema, und Perplexity antwortete nicht auf die Anfrage nach einem Kommentar.
Diese Kontroverse verdeutlicht die Komplexität des Werts und der Nutzungsrechte von Inhalten im digitalen Zeitalter und deutet auf neue Kooperationsmodelle zwischen Technologieunternehmen und Inhaltsanbietern hin.