最佳 网页抓取与数据提取 AI GitHub 仓库

Firecrawl

AI GitHub 仓库

#38

上下文API，旨在大规模搜索、抓取和与网络互动。它使开发人员能够高效地收集和利用网络数据用于各种应用，增强他们有效处理在线内容的能力。firecrawl/firecrawl是一个上下文API，旨在大规模搜索、抓取和与网络互动。它使开发人员能够高效地收集和利用网络数据用于各种应用，增强他们有效处理在线内容的能力。

Crawl4AI

AI GitHub 仓库

#108

开源的网络爬虫和抓取工具，旨在与大型语言模型（LLMs）兼容。它使用户能够高效地从网络收集数据，是开发者和研究人员的宝贵工具。Crawl4AI 是一个开源的网络爬虫和抓取工具，旨在与大型语言模型（LLMs）兼容。它使用户能够高效地从网络收集数据，是开发者和研究人员的宝贵工具。

PriceAI

AI GitHub 仓库

#44本周

工具，聚合来自 100 多个卡网络渠道的定价信息，包括 ChatGPT、Claude、Gemini 和 Grok。它显示最低可用价格、库存状态和原始购买链接，帮助用户高效找到最佳交易。PriceAI 是一个工具，聚合来自 100 多个卡网络渠道的定价信息，包括 ChatGPT、Claude、Gemini 和 Grok。它显示最低可用价格、库存状态和原始购买链接，帮助用户高效找到最佳交易。

API Anything

AI GitHub 仓库

#47

api-anything是一个GitHub项目，可以将任何网站转换为API。它从网站的前端学习并适应变化，确保持续的功能。非常适合希望自动化数据提取和集成任务的开发者。

exchange-data-mcp

AI GitHub 仓库

交易数据 MCP 是一个公共库，统一了来自 Kucoin、Coinbase 和 Binance 的市场数据，供 AI 代理使用。它减少了突发工具使用的影响，并提供比原始负载更干净的数据，无需账户或 API 密钥即可访问。

Apify MCP Server

AI GitHub 仓库

Apify MCP 服务器使 AI 代理能够使用 Apify 商店提供的众多抓取工具和自动化工具从各种在线来源提取数据。它支持从社交媒体、搜索引擎、地图和电子商务网站提取数据。

Trafilatura

AI GitHub 仓库

用于网络数据提取的 Python 和命令行工具。它支持爬取、抓取和提取文本及元数据，输出格式包括 CSV、JSON、HTML 等多种格式。Trafilatura 是一个用于网络数据提取的 Python 和命令行工具。它支持爬取、抓取和提取文本及元数据，输出格式包括 CSV、JSON、HTML 等多种格式。

ScrapeCreators 社交媒体研究技能

AI GitHub 仓库

昨天

全面的社交媒体研究提供 AI 代理技能。它识别异常帖子，挖掘评论，进行竞争对手分析，并分析 TikTok、Instagram、YouTube、Reddit、X 和 LinkedIn 等平台的广告库和趋势。ScrapeCreators 社交媒体研究技能为全面的社交媒体研究提供 AI 代理技能。它识别异常帖子，挖掘评论，进行竞争对手分析，并分析 TikTok、Instagram、YouTube、Reddit、X 和 LinkedIn 等平台的广告库和趋势。