WaterCrawl

Deskripsi

WaterCrawl adalah platform crawling web dan ekstraksi konten yang modern yang mengubah situs web mana pun menjadi data terstruktur yang siap untuk LLM. Dibangun untuk pengembang, platform ini memungkinkan pengguna untuk melakukan crawling pada situs mana pun secara instan dengan kontrol crawling cerdas untuk kedalaman, domain, dan jalur, ekstraksi konten yang tepat menggunakan pemilih kustom yang menyaring iklan dan footer, serta rendering JavaScript untuk menangkap konten dinamis dan mengambil tangkapan layar dalam format PDF atau JPG.

Selain crawling, WaterCrawl mencakup mesin pencari web untuk hasil waktu nyata di seluruh web, pembuatan sitemap otomatis untuk memetakan semua URL di situs, dan integrasi OpenAI bawaan untuk mengubah HTML mentah menjadi data terstruktur yang bermakna. Ini menawarkan sistem plugin yang dapat diperluas, pemantauan status dan kinerja crawling secara waktu nyata melalui Server-Sent Events, dan pelaporan kesalahan yang komprehensif. Proyek ini bersifat sumber terbuka di bawah lisensi MIT yang dimodifikasi, dengan penggunaan komersial sebagai layanan yang bersaing memerlukan izin.

Pengembang mengintegrasikan WaterCrawl melalui REST API yang bersih dengan autentikasi berbasis JWT dan dukungan webhook, serta SDK resmi untuk Python, Go, Node.js, PHP, dan Rust. API mendukung permintaan crawling tunggal atau batch, mengonfigurasi opsi spider dan halaman, streaming status langsung, dan mengunduh hasil sebagai JSON atau Markdown, ditambah endpoint pencarian khusus.

Rencana gratis menyediakan 1.000 kredit halaman per bulan dengan proxy pusat data dan jendela retensi 7 hari. Rencana berbayar Startup, Growth, dan Enterprise menambahkan lebih banyak kredit halaman, kedalaman crawling dan konkruensi yang lebih tinggi, proxy residensial premium, lebih banyak kursi tim, dan retensi yang lebih lama.

Fitur Inti WaterCrawl

• Kontrol crawling cerdas untuk kedalaman, domain, dan jalur

• Ekstraksi konten yang tepat dengan pemilih kustom

• Rendering JavaScript dan tangkapan layar PDF atau JPG

• Mesin pencari web bawaan dengan hasil waktu nyata

• Pembuatan sitemap otomatis dan pemetaan situs

• Pemrosesan berbasis AI melalui integrasi OpenAI

• Sumber terbuka dengan sistem plugin yang dapat diperluas

• REST API, webhook, dan SDK untuk berbagai bahasa

Cara menggunakan WaterCrawl?

1. 1

   Daftar gratis: Buat akun dan dapatkan 1.000 kredit halaman bulanan.

2. 2

   Dapatkan kunci API: Hasilkan kunci API Tim dari dasbor.

3. 3

   Konfigurasi crawling: Atur URL awal, kedalaman, domain, dan opsi halaman.

4. 4

   Jalankan dan pantau: Mulai crawling dan lacak kemajuan secara waktu nyata melalui SSE.

5. 5

   Ambil data: Unduh hasil sebagai JSON atau Markdown, atau terima melalui webhook.

Kasus Penggunaan WaterCrawl

• Saluran data LLM
• Agregasi konten
• Riset pasar
• Mesin pencari
• Pemantauan situs web

FAQ dari WaterCrawl

• Apa itu WaterCrawl?

  WaterCrawl adalah kerangka kerja crawling web dan ekstraksi konten sumber terbuka yang modern yang mengubah situs web menjadi data terstruktur yang siap untuk LLM, dibangun untuk pengembang yang membuat mesin pencari, alat penelitian, dan saluran data.

• Bisakah WaterCrawl menangani halaman yang dirender dengan JavaScript?

  Ya. WaterCrawl mendukung rendering JavaScript dengan waktu tunggu yang dapat dikonfigurasi untuk menangkap konten dinamis, dan dapat mengambil tangkapan layar dalam format PDF atau JPG.

• Bagaimana cara mengintegrasikan WaterCrawl?

  WaterCrawl menyediakan REST API yang terdokumentasi dengan baik dengan autentikasi berbasis JWT dan dukungan webhook, ditambah SDK resmi untuk Python, Go, Node.js, PHP, dan Rust.

• Apakah WaterCrawl sumber terbuka?

  Ya. WaterCrawl dirilis di bawah lisensi MIT yang dimodifikasi. Perangkat lunak ini dapat digunakan, dimodifikasi, dan didistribusikan secara bebas, meskipun penggunaan komersial sebagai layanan yang mirip dengan watercrawl.dev memerlukan izin eksplisit.

• Apa yang termasuk dalam rencana gratis?

  Rencana gratis mencakup 1.000 kredit halaman bulanan, 100 kredit halaman harian, kedalaman crawling maksimum 2, proxy pusat data, akses API, dan retensi data selama 7 hari.

• Format output apa yang didukung?

  Hasil crawling dapat diunduh sebagai JSON atau Markdown, dan konten dapat diekstraksi dalam format seperti HTML dan teks biasa dengan opsi untuk menyertakan atau mengecualikan tautan.