الوصف
WaterCrawl هو منصة حديثة لزحف الويب واستخراج المحتوى تحول أي موقع إلى بيانات منظمة جاهزة للاستخدام مع LLM. تم تصميمه للمطورين، حيث يتيح للمستخدمين زحف أي موقع على الفور مع تحكمات زحف ذكية للعمق، والنطاقات، والمسارات، واستخراج محتوى دقيق باستخدام محددات مخصصة تقوم بتصفية الإعلانات والتذييلات، وتجسيد JavaScript لالتقاط المحتوى الديناميكي وأخذ لقطات شاشة بصيغة PDF أو JPG.
قراءة المزيد
بعيدًا عن الزحف، يتضمن WaterCrawl محرك بحث على الويب للحصول على نتائج في الوقت الحقيقي عبر الإنترنت، وتوليد خرائط مواقع تلقائي لرسم جميع عناوين URL على الموقع، وتكامل مدمج مع OpenAI لتحويل HTML الخام إلى بيانات منظمة وذات معنى. يوفر نظام إضافات قابل للتوسيع، ومراقبة في الوقت الحقيقي لحالة الزحف والأداء عبر أحداث الخادم المرسلة، وتقارير شاملة عن الأخطاء. المشروع مفتوح المصدر بموجب ترخيص MIT المعدل، مع استخدام تجاري كخدمة منافسة يتطلب إذنًا.
يتكامل المطورون مع WaterCrawl من خلال واجهة برمجة تطبيقات REST نظيفة مع مصادقة تعتمد على JWT ودعم الويب هوك، وSDKs رسمية لـ Python وGo وNode.js وPHP وRust. تدعم واجهة برمجة التطبيقات بدء طلبات الزحف الفردية أو الجماعية، وتكوين خيارات العنكبوت والصفحات، وبث الحالة الحية، وتنزيل النتائج بصيغة JSON أو Markdown، بالإضافة إلى نقاط نهاية بحث مخصصة.
تقدم الخطة المجانية 1,000 رصيد صفحة شهريًا مع بروكسيات مراكز البيانات ونافذة احتفاظ لمدة 7 أيام. تضيف خطط Startup وGrowth وEnterprise المدفوعة المزيد من أرصدة الصفحات، وعمق زحف أعلى وتزامن، وبروكسيات سكنية متميزة، ومقاعد فريق أكثر، ومدة احتفاظ أطول.
- الفئةكشط الويب واستخراج البيانات
- نموذج التسعيرفريميوم
- النشرسحابي
- المنصاتالويب
الميزات الأساسية لـ WaterCrawl
تحكمات زحف ذكية للعمق والنطاقات والمسارات
استخراج محتوى دقيق باستخدام محددات مخصصة
تجسيد JavaScript وأخذ لقطات شاشة بصيغة PDF أو JPG
محرك بحث مدمج على الويب مع نتائج في الوقت الحقيقي
توليد خرائط مواقع تلقائي ورسم خرائط المواقع
معالجة مدعومة بالذكاء الاصطناعي عبر تكامل OpenAI
مفتوح المصدر مع نظام إضافات قابل للتوسيع
واجهة برمجة تطبيقات REST، وويب هوكس، وSDKs لعدة لغات
كيفية استخدام WaterCrawl؟
سجل مجانًا: أنشئ حسابًا واحصل على 1,000 رصيد صفحة شهريًا.
احصل على مفتاح API: أنشئ مفتاح API لفريقك من لوحة التحكم.
قم بتكوين زحف: حدد عنوان URL للبداية، والعمق، والنطاقات، وخيارات الصفحات.
قم بالتشغيل والمراقبة: ابدأ الزحف وتابع التقدم في الوقت الحقيقي عبر SSE.
استرجع البيانات: قم بتنزيل النتائج بصيغة JSON أو Markdown، أو استلمها عبر الويب هوك.
حالات استخدام WaterCrawl
- أنابيب بيانات LLM
- تجميع المحتوى
- أبحاث السوق
- محركات البحث
- مراقبة المواقع
