Scrapingdog

描述

Scrapingdog 是一个网页抓取和数据提取 API，处理代理和无头浏览器，使开发人员能够提取数据，而无需构建和维护自己的抓取基础设施。它旨在处理高并发请求的高流量，具有稳定的正常运行时间，并返回预解析的 JSON，减少所需的解析代码。页面还可以转换为适合 LLM 的 Markdown 或 JSON。

该服务包括 40 多个专用端点，涵盖一般网页抓取（使用轮换和高级代理以及 JavaScript 渲染）、谷歌 API（包括搜索、地图、新闻、学术、趋势、工作、图片和购物）、社交媒体 API（LinkedIn、Twitter、TikTok、YouTube 和个人资料抓取器）以及电子商务 API（亚马逊、沃尔玛、eBay、Flipkart 等）。每个计划解锁所有 API，无需单独购买附加功能。

Scrapingdog 采用信用系统，每个请求根据所使用的端点消耗一定数量的信用；例如，标准请求消耗一个信用，而 JavaScript 渲染或高级代理请求则消耗更多。失败、被阻止和超时的请求会自动退款，因此用户只需为成功接收的数据付费。

定价分为多个层级，从包含 200 个信用的免费计划到企业级计划，高级计划提供更多的每月信用、并发、地理定位和支持。提供 30 天的免费试用和 200 个免费信用，无需信用卡，年度计费为十个月支付十二个月的费用。

Scrapingdog的核心功能

• 具有管理代理和无头浏览器的网页抓取 API

• 40 多个专用端点，涵盖搜索、社交和电子商务

• 包括搜索、地图、新闻和购物的谷歌 API

• 用于 LinkedIn、Twitter、TikTok 和 YouTube 的社交媒体抓取器

• 用于亚马逊、沃尔玛、eBay 等的电子商务抓取器

• 预解析的 JSON 和适合 LLM 的 Markdown 输出

• JavaScript 渲染、高级代理和地理定位

• 基于信用的定价，失败请求可退款

如何使用 Scrapingdog？

1. 1

   注册：创建一个免费账户，获得 200 个信用，无需信用卡。

2. 2

   选择 API：选择您需要的端点，例如一般抓取或谷歌 API。

3. 3

   发送请求：使用目标 URL 或查询参数调用 API。

4. 4

   接收数据：获取预解析的 JSON、Markdown 或结构化结果。

5. 5

   扩展：升级到更高的计划以获得更多信用、并发和地理定位。

Scrapingdog的使用案例

• 搜索数据提取
• 电子商务监控
• 社交媒体数据
• 适合 LLM 的数据
• 大规模抓取

Scrapingdog的常见问题

• 什么是 Scrapingdog？

  Scrapingdog 是一个全方位的网页抓取 API，能够为您管理代理和无头浏览器，让您能够在 40 多个专用端点上大规模提取数据。

• 信用是如何运作的？

  信用在您计划的每个 API 之间共享。标准请求消耗一个信用，而更重的请求（如 JavaScript 渲染页面或高级代理请求）消耗更多。信用在您的账单日期重置。

• 您会对失败或被阻止的请求收费吗？

  不。失败、被阻止和超时的请求会自动返还到您的余额，因此您只需为成功接收的数据付费。

• 所有计划都包括每个 API 吗？

  是的。一个订阅解锁所有 40 多个 API，包括谷歌搜索、地图、亚马逊和适合 LLM 的数据端点，无需单独购买附加功能。

• 是否有免费试用？

  是的。每个账户都以 200 个免费信用和对所有 API 的完全访问开始，无需信用卡，因此您可以端到端测试该服务。

• 我可以随时升级或降级吗？

  是的。计划变更立即生效，无需合同或锁定。升级按比例计算本月剩余时间的费用，降级从下一个账单周期开始生效。