オープンソースのウェブクローラープロジェクトCrawl4 AIが先日、v0.4.1版をリリースし、多くの重要なアップデートが加えられました。最も注目すべきは、新たに搭載されたテキストモード（Text-Only Mode）機能です。このモードは、リソースの読み込み戦略を最適化することで、クローリング効率を従来の3～4倍に向上させました。
「今回のアップデートの中心は、クローラーをより高速でインテリジェントにすることです」とプロジェクトメンテナーは述べています。「特に現代的なウェブページの処理において、新バージョンは顕著な優位性を示しています。」
今回のアップデートの大きな特徴は、新しいテキストモードです。画像の読み込み、JavaScriptの実行、GPU処理を無効にすることで、クローリング速度を大幅に向上させることができます。ユーザーはtext_only=Trueパラメーターを設定するだけでこの機能を有効にでき、ウェブページのテキストコンテンツのみを取得する必要がある場合に特に適しています。
現代的なウェブページの特徴に対応するため、v0.4.1版ではコンテンツの読み込みメカニズムも最適化されました。新バージョンでは、遅延読み込みコンテンツの処理が改善され、wait_for_imagesパラメーターが導入され、画像の完全な読み込みが保証されます。同時に、新たに搭載された動的ビューポート調整機能（adjust_viewport_to_content）により、すべての動的コンテンツが正しく取得されるようになります。
無限スクロールなどの動的読み込みページをより適切に処理するために、Crawl4AIには全ページスキャン機能が導入されました。ユーザーはscan_full_page=Trueを設定することでこの機能を有効にし、scroll_delayパラメーターと組み合わせてスキャンリズムを正確に制御し、実際のユーザーの閲覧行動をシミュレートできます。
パフォーマンスの最適化において、新バージョンではセッション管理も改善されました。セッション再利用メカニズムにより、ブラウザタブの繰り返し作成によるオーバーヘッドを回避し、メモリ使用量を大幅に削減し、全体的な実行効率を向上させました。
今回のアップデートは、Crawl4AIがウェブデータ収集分野で重要な一歩を踏み出したことを示しており、開発者により効率的で信頼性の高いクローラーツールを提供します。
オープンソースリリースアドレス：https://crawl4ai.com/mkdocs/blog/releases/0.4.1/
