설명
Scrapingdog는 프록시와 헤드리스 브라우저를 처리하는 웹 스크래핑 및 데이터 추출 API로, 개발자가 자체 스크래핑 인프라를 구축하고 유지 관리하지 않고도 데이터를 추출할 수 있도록 설계되었습니다. 높은 동시 요청량을 처리할 수 있도록 설계되었으며 안정적인 가동 시간을 유지하며, 미리 파싱된 JSON을 반환하여 필요한 파싱 코드의 양을 줄입니다. 페이지는 LLM 준비가 완료된 Markdown 또는 JSON으로 변환할 수도 있습니다.
이 서비스는 회전 및 프리미엄 프록시와 JavaScript 렌더링을 포함한 일반 웹 스크래핑, Google API(검색, 지도, 뉴스, 학술, 트렌드, 채용, 이미지 및 쇼핑 포함), 소셜 미디어 API(LinkedIn, Twitter, TikTok, YouTube 및 프로필 스크래퍼), 전자 상거래 API(Amazon, Walmart, eBay, Flipkart 등) 등 다양한 카테고리에서 40개 이상의 전용 엔드포인트를 포함합니다. 모든 요금제는 별도의 추가 구매 없이 모든 API를 잠금 해제합니다.
Scrapingdog는 크레딧 시스템에서 운영되며, 각 요청은 사용된 엔드포인트에 따라 일정 수의 크레딧을 소모합니다. 예를 들어, 표준 요청은 하나의 크레딧이 소모되며, JavaScript 렌더링 또는 프리미엄 프록시 요청은 더 많은 크레딧을 소모합니다. 실패한 요청, 차단된 요청 및 시간 초과 요청은 자동으로 환불되므로 사용자는 성공적으로 수신한 데이터에 대해서만 비용을 지불합니다.
요금은 무료 요금제에서 200크레딧을 제공하며, 기업 규모의 요금제까지 여러 계층으로 확장됩니다. 상위 요금제는 더 많은 월간 크레딧, 동시성, 지리적 타겟팅 및 지원을 추가합니다. 신용 카드 없이 30일 무료 평가판과 200개의 무료 크레딧이 제공되며, 연간 청구는 12개월에 10개월 요금으로 제공됩니다.
Scrapingdog의 핵심 기능
관리되는 프록시와 헤드리스 브라우저를 갖춘 웹 스크래핑 API
검색, 소셜 및 전자 상거래를 아우르는 40개 이상의 전용 엔드포인트
검색, 지도, 뉴스 및 쇼핑을 포함한 Google API
LinkedIn, Twitter, TikTok 및 YouTube를 위한 소셜 미디어 스크래퍼
Amazon, Walmart, eBay 등을 위한 전자 상거래 스크래퍼
미리 파싱된 JSON 및 LLM 준비가 완료된 Markdown 출력
JavaScript 렌더링, 프리미엄 프록시 및 지리적 타겟팅
실패한 요청에 대한 환불이 포함된 크레딧 기반 요금제
Scrapingdog 사용 방법은?
가입하기: 무료 계정을 생성하고 신용 카드 없이 200크레딧을 받으세요.
API 선택하기: 일반 스크래핑 또는 Google API와 같은 필요한 엔드포인트를 선택하세요.
요청 보내기: 대상 URL 또는 쿼리 매개변수로 API를 호출하세요.
데이터 수신하기: 미리 파싱된 JSON, Markdown 또는 구조화된 결과를 받으세요.
확장하기: 더 많은 크레딧, 동시성 및 지리적 타겟팅을 위해 더 높은 요금제로 업그레이드하세요.
Scrapingdog의 사용 사례
- 검색 데이터 추출
- 전자 상거래 모니터링
- 소셜 미디어 데이터
- LLM 준비 데이터
- 대규모 스크래핑
