Según la revista Wired, Amazon Web Services (AWS) está investigando a la startup de búsqueda de inteligencia artificial Perplexity AI por presuntamente violar los términos de servicio de AWS al raspar contenido de sitios web que intentaban evitarlo.
Perplexity AI, una startup respaldada por el fondo familiar de Jeff Bezos y Nvidia, recientemente valorada en 3.000 millones de dólares, parece depender del raspado de contenido de sitios web que están prohibidos por el protocolo de exclusión de robots, según Wired. El protocolo de exclusión de robots es un estándar web que indica qué páginas no deben ser accedidas por robots y rastreadores automáticos. Si bien este protocolo no es legalmente vinculante, la mayoría de las empresas tradicionalmente lo respetan.
Un portavoz de AWS declaró que los términos de servicio de la empresa prohíben a los clientes utilizar sus servicios para cualquier actividad ilegal, y que los clientes son responsables de cumplir con los términos y todas las leyes aplicables. Los clientes de AWS deben cumplir con el estándar robots.txt al rastrear sitios web.
La investigación reveló que Perplexity pudo acceder a un servidor utilizando una dirección IP no divulgada, que en los últimos tres meses accedió a activos de Condé Nast cientos de veces, aparentemente para raspar contenido prohibido. Portavoces de The Guardian, Forbes y The New York Times también reportaron situaciones similares.
El CEO de Perplexity, Aravind Srinivas, afirmó que el raspado descubierto fue realizado por una empresa externa que proporciona servicios de raspado e indexación web, pero se negó a revelar el nombre de la empresa. Sara Platnick, portavoz de Perplexity, dijo que la empresa respondió a las preguntas de Amazon y afirmó que PerplexityBot respeta robots.txt, pero lo ignora cuando un usuario ingresa una URL específica.
Jason Kint, CEO de la asociación comercial de la industria de contenido digital Digital Content Next, opina que si las acusaciones contra Perplexity son ciertas, la empresa habría violado varios principios para prevenir posibles infracciones de derechos de autor. Subrayó que las empresas de inteligencia artificial no deberían, por defecto, obtener y utilizar el contenido de los editores sin permiso.
Actualmente, este incidente ha generado una amplia atención y debate sobre la forma en que las empresas de IA obtienen datos. La industria espera la publicación de los resultados de la investigación de AWS y las posibles medidas que se puedan tomar contra Perplexity.