Récemment, Trilegangers, un site web ukrainien spécialisé dans les modèles 3D humains, a subi une attaque de trafic sans précédent, entraînant la paralysie de ses serveurs. Ce site web vise à fournir aux artistes 3D et aux développeurs de jeux une quantité massive de données de modèles 3D humains, mais il s'est retrouvé en difficulté à cause du scraping intensif du GPTBot d'OpenAI. Selon les employés de Trilegangers, bien que le site web interdise explicitement le scraping et l'utilisation non autorisés dans ses conditions d'utilisation, des mesures de protection inadéquates ont été mises en place.

À l'ère de l'intelligence artificielle, les modèles linguistiques de grande taille (LLM) tels que GPT-3 et BERT ont un besoin croissant de données de haute qualité. Cependant, le processus manuel de compilation de ces données à partir du Web est non seulement long et fastidieux, mais aussi difficilement évolutif. Cela représente un défi de taille pour les développeurs, surtout lorsqu'ils ont besoin de grandes quantités de données. Les outils traditionnels de scraping et d'extraction de données ont des capacités limitées en matière d'extraction de données structurées. Bien qu'ils puissent collecter des données web, ils sont souvent incapables de formater ces données de manière appropriée pour les LLM.