説明
WaterCrawlは、あらゆるウェブサイトを構造化されたLLM対応データに変換する現代的なウェブクロールおよびコンテンツ抽出プラットフォームです。開発者向けに設計されており、ユーザーは深さ、ドメイン、パスに対するスマートクロールコントロールを使用して、任意のサイトを瞬時にクロールできます。広告やフッターを除外するカスタムセレクタを使用した正確なコンテンツ抽出や、動的コンテンツをキャプチャし、PDFまたはJPG形式でスクリーンショットを取得するためのJavaScriptレンダリングも可能です。
続きを読む
クロールに加えて、WaterCrawlにはウェブ全体でリアルタイムの結果を提供するウェブ検索エンジン、自動サイトマップ生成機能があり、サイト上のすべてのURLをマッピングします。また、生のHTMLを構造化された意味のあるデータに変換するためのOpenAI統合も備えています。拡張可能なプラグインシステム、サーバー送信イベントを介したクロール状況とパフォーマンスのリアルタイム監視、包括的なエラーレポートを提供します。このプロジェクトは修正されたMITライセンスの下でオープンソースであり、競合サービスとしての商業利用には許可が必要です。
開発者は、JWTベースの認証とWebhookサポートを備えたクリーンなREST APIを介してWaterCrawlを統合し、Python、Go、Node.js、PHP、Rust用の公式SDKも提供しています。APIは、単一またはバッチのクロールリクエストを開始し、スパイダーやページオプションを設定し、ライブステータスをストリーミングし、結果をJSONまたはMarkdown形式でダウンロードすることをサポートし、専用の検索エンドポイントも提供します。
無料プランでは、データセンタープロキシと7日間の保持ウィンドウで1,000ページクレジットを提供します。有料のスタートアップ、成長、エンタープライズプランでは、より多くのページクレジット、より高いクロール深度と同時実行性、プレミアム住宅プロキシ、より多くのチーム席、より長い保持期間が追加されます。
- カテゴリーWebスクレイピングとデータ抽出
- 料金モデルフリーミアム
- デプロイクラウド
- プラットフォームWeb
WaterCrawlの主要機能
深さ、ドメイン、パスに対するスマートクロールコントロール
カスタムセレクタによる正確なコンテンツ抽出
JavaScriptレンダリングおよびPDFまたはJPG形式のスクリーンショット
リアルタイム結果を提供する内蔵ウェブ検索エンジン
自動サイトマップ生成およびサイトマッピング
OpenAI統合によるAI駆動の処理
拡張可能なプラグインシステムを備えたオープンソース
複数の言語用のREST API、Webhook、およびSDK
WaterCrawlの使い方は？
無料登録: アカウントを作成し、月に1,000ページクレジットを取得します。
APIキーを取得: ダッシュボードからチームAPIキーを生成します。
クロールを設定: 開始URL、深さ、ドメイン、ページオプションを設定します。
実行と監視: クロールを開始し、SSEを介してリアルタイムで進捗を追跡します。
データを取得: 結果をJSONまたはMarkdown形式でダウンロードするか、Webhookを介して受信します。
WaterCrawlの使用例
- LLMデータパイプライン
- コンテンツ集約
- 市場調査
- 検索エンジン
- ウェブサイト監視
