설명
WaterCrawl은 모든 웹사이트를 구조화된 LLM 준비 데이터로 변환하는 현대적인 웹 크롤링 및 콘텐츠 추출 플랫폼입니다. 개발자를 위해 설계되어 사용자가 깊이, 도메인 및 경로에 대한 스마트 크롤링 제어를 통해 즉시 모든 사이트를 크롤링할 수 있으며, 광고 및 바닥글을 필터링하는 사용자 정의 선택기를 사용하여 정확한 콘텐츠 추출을 수행하고, 동적 콘텐츠를 캡처하고 PDF 또는 JPG 형식으로 스크린샷을 찍기 위해 JavaScript 렌더링을 지원합니다.
더 읽기
크롤링을 넘어 WaterCrawl은 웹 전반에서 실시간 결과를 제공하는 웹 검색 엔진, 사이트의 모든 URL을 매핑하는 자동 사이트맵 생성기, 원시 HTML을 구조화된 의미 있는 데이터로 변환하는 OpenAI 통합 기능을 포함합니다. 확장 가능한 플러그인 시스템, 서버 전송 이벤트를 통한 크롤링 상태 및 성능의 실시간 모니터링, 포괄적인 오류 보고 기능을 제공합니다. 이 프로젝트는 수정된 MIT 라이센스 하에 오픈 소스로 제공되며, 상업적 사용은 경쟁 서비스로서 허가가 필요합니다.
개발자는 JWT 기반 인증 및 웹훅 지원을 갖춘 깔끔한 REST API를 통해 WaterCrawl을 통합하며, Python, Go, Node.js, PHP 및 Rust에 대한 공식 SDK를 제공합니다. API는 단일 또는 배치 크롤 요청을 시작하고, 스파이더 및 페이지 옵션을 구성하며, 실시간 상태 스트리밍 및 결과를 JSON 또는 Markdown 형식으로 다운로드할 수 있는 기능을 지원합니다. 전용 검색 엔드포인트도 포함되어 있습니다.
무료 플랜은 데이터 센터 프록시와 7일 보존 기간을 포함하여 매월 1,000 페이지 크레딧을 제공합니다. 유료 스타트업, 성장 및 기업 플랜은 더 많은 페이지 크레딧, 더 높은 크롤 깊이 및 동시성, 프리미엄 주거용 프록시, 더 많은 팀 좌석 및 더 긴 보존 기간을 추가합니다.
- 카테고리웹 스크래핑 및 데이터 추출
- 요금제부분 무료
- 배포클라우드
- 플랫폼웹
WaterCrawl의 핵심 기능
깊이, 도메인 및 경로에 대한 스마트 크롤링 제어
사용자 정의 선택기를 통한 정확한 콘텐츠 추출
JavaScript 렌더링 및 PDF 또는 JPG 스크린샷
실시간 결과를 제공하는 내장 웹 검색 엔진
자동 사이트맵 생성 및 사이트 매핑
OpenAI 통합을 통한 AI 기반 처리
확장 가능한 플러그인 시스템을 갖춘 오픈 소스
여러 언어를 위한 REST API, 웹훅 및 SDK
WaterCrawl 사용 방법은?
무료 가입: 계정을 생성하고 매월 1,000 페이지 크레딧을 받습니다.
API 키 받기: 대시보드에서 팀 API 키를 생성합니다.
크롤 구성: 시작 URL, 깊이, 도메인 및 페이지 옵션을 설정합니다.
실행 및 모니터링: 크롤을 시작하고 SSE를 통해 실시간으로 진행 상황을 추적합니다.
데이터 검색: 결과를 JSON 또는 Markdown 형식으로 다운로드하거나 웹훅을 통해 수신합니다.
WaterCrawl의 사용 사례
- LLM 데이터 파이프라인
- 콘텐츠 집계
- 시장 조사
- 검색 엔진
- 웹사이트 모니터링
