オープンソースのWebクローラープロジェクトCrawl4 AIが、v0.4.1版をリリースし、多くの重要な更新が含まれています。最も注目すべきは、新たにテキストモード（Text-Only Mode）機能が追加されたことで、リソースの読み込み戦略を最適化することにより、クローリング効率が従来の3～4倍に向上しました。今回の更新の中心は、クローラーをより高速でインテリジェントにすることであり、プロジェクトメンテナーは、特に最新のWebページを処理する場合、新バージョンが顕著な利点をもたらすと述べています。今回の更新の大きな特徴は、新しいテキストモードです。無効にすることで

AI駆動の時代に、GPT-3やBERTなどの大規模言語モデル（LLM）は高品質データへの需要が高まっています。しかし、これらのデータをウェブから手動で収集整理するのは、時間と労力を要し、拡張性も低いという課題があります。特に大量のデータが必要な場合、開発者にとって大きな負担となります。従来のウェブクローラーやデータ取得ツールは、構造化データの抽出能力が限定的で、ウェブデータの収集はできても、LLMで処理できる形式にデータを変換することは困難です。