Recentemente, o CEO do Reddit, Steve Huffman, afirmou em entrevista que a empresa está buscando acordos de uso de dados com grandes empresas de tecnologia, exigindo que empresas que desejam continuar a extrair dados do Reddit paguem por isso. Essa medida decorre de acordos já firmados com o Google e a OpenAI, e Huffman espera que outras empresas sigam o exemplo.
Huffman mencionou especificamente a Microsoft, a Anthropic e a Perplexity por recusarem negociações sobre o uso de dados, afirmando que "bloquear essas empresas é um verdadeiro incômodo". Ele apontou que, sem os acordos, o Reddit não consegue controlar ou entender como seus dados são usados, o que obriga a empresa a bloquear aquelas que não aceitam os termos.
Para lidar com essa situação, o Reddit intensificou as restrições a web crawlers nos últimos meses. Em início de julho, a empresa atualizou seu arquivo robots.txt para bloquear o acesso de crawlers que não assinaram acordos. Em seguida, os usuários perceberam que o conteúdo do Reddit só aparecia nos resultados de pesquisa do Google, com quem possui um acordo, desaparecendo de outros mecanismos de busca, como o Bing.
Huffman criticou a Microsoft por usar dados do Reddit sem autorização para treinar IA e vender o conteúdo por meio da API do Bing para outros mecanismos de busca. Ele citou declarações do CEO de IA da Microsoft, afirmando que dados públicos na internet são "software gratuito". Huffman acredita que essa visão representa a atitude de algumas empresas de tecnologia em relação ao conteúdo da internet.
Sobre o desaparecimento do conteúdo do Reddit do Bing, o chefe de busca da Microsoft, Jordi Ribas, afirmou que isso se deve ao bloqueio do Reddit ao acesso do Bing ao seu site. Um porta-voz da Microsoft enfatizou que a empresa respeita as instruções dos provedores de conteúdo sobre o uso do conteúdo.
Huffman apontou que o modelo de troca de valor dos mecanismos de busca tradicionais mudou. Com a fusão de busca, resumo e treinamento de IA, o modelo de troca de conteúdo por tráfego se tornou complexo. Ele disse que o Reddit, junto com editoras de mídia tradicionais, está buscando um modelo de pagamento por informações para IA generativa.
Em resposta, a Anthropic afirmou ter colocado o Reddit na lista negra de crawlers e respeita suas configurações robots.txt. A Microsoft se recusou a comentar sobre o assunto, e a Perplexity não respondeu ao pedido de comentário.
Essa controvérsia destaca a complexidade do valor e dos direitos de uso do conteúdo na era digital, e prenuncia possíveis novos modelos de colaboração entre empresas de tecnologia e provedores de conteúdo.