描述
Expand 是一个应用研究实验室,构建工具使 AI 代理能够以类人方式访问和理解网络。传统的网页抓取工具通常依赖于解析原始 HTML,这可能会错过关键的视觉上下文、布局和仅在渲染的浏览器页面中显现的隐藏数据。Expand 通过在真实浏览器中打开任何给定的 URL 来解决这个问题,使其 Iris 模型能够分析完全渲染的页面。
阅读更多
核心产品 Fetch 接受一个 URL,并将页面内容返回为结构化的 Markdown,保留表格、图标和整体布局。至关重要的是,它还提取隐藏的 JSON 数据,称为 State JSON,这通常包含驱动动态网页应用程序的基础数据。每一行 Markdown 输出都链接回原始页面上的确切来源,为代理提供可验证的上下文。
Expand 提供了超越 Fetch 的各种构建模块。Iris 和 X-Ray 在浏览器页面上工作,而 Wayback Machine 创建可重放的抓取页面快照。Highlights 识别页面上的相关片段以回答特定问题,减少代理处理整个文档的需要。Search 帮助代理找到值得抓取的页面,而 Crawl 使代理能够处理整个网站。WebSync 持续监控网站的变化,保持代理更新。
该平台旨在为开发人员和代理提供服务,通过 CLI、TypeScript SDK 和直接 API 提供集成。它自动处理公共页面的常见机器人检查和 CAPTCHA,如 Cloudflare、Turnstile 和 reCAPTCHA,但不绕过登录或付费墙。定价基于信用,每 1,000 个信用费用为 1 美元。标准的 Fetch 操作费用为 1 个信用,Highlights、转换文档、视觉模型、视频和转录音频等功能会产生额外费用。系统仅对交付的内容收费,而不对失败的尝试收费。
Expand 旨在赋予 AI 代理更完整和准确的网络理解能力,超越简单的 HTML 解析,以解释渲染页面的视觉和数据丰富的上下文。这种能力对于代理执行复杂任务和有效地与在线信息互动至关重要。
- 类别AI 智能体构建工具
- 定价模式积分制
- 部署云端
- 平台网页版
Expand的核心功能
真实浏览器渲染:在真实浏览器中打开 URL 以处理渲染页面,而不仅仅是 HTML。
结构化 Markdown 输出:将网页返回为 Markdown,保留表格、图标和布局。
隐藏 JSON 提取(State JSON):从动态网页中提取基础数据。
源链接:每一行输出都链接回原始页面上的确切位置。
API 访问:为代理提供强大的 API 以与网页内容互动。
SDK 和 CLI:提供 TypeScript SDK 和命令行接口以便集成。
机器人和 CAPTCHA 绕过:自动处理公共页面的常见机器人检查和 CAPTCHA。
页面快照:创建可重放的抓取浏览器页面快照。
内容高亮:识别并提取回答特定问题的相关片段。
网站爬取:使代理能够爬取整个网站以进行全面的数据收集。
网站变化监控(WebSync):持续监控网站的更新和变化。
基于信用的计费:根据预付信用对交付的输出收费,而不是按令牌收费。
渐进式披露:首先返回主要内容,并提供指向保留数据的指针以提高效率。
引用链接:为高亮片段提供引用 URL 以便验证。
代理设置指南:提供 /start.md 以便轻松配置代理。
如何使用 Expand?
连接代理:使用 /start.md、CLI、TypeScript SDK 或 API 将 Expand 与您的代理集成。
发送 URL:向 Expand 的 Fetch API 提交页面 URL。
接收结构化输出:将渲染的页面作为 Markdown、State JSON 和快照返回。
处理内容:利用结构化输出进行代理任务,利用源链接提供上下文。
提取细节:使用 Highlights 查找回答问题的片段或使用 JSON 模式获取单独字段。
监控网站:实施 Crawl 进行完整网站处理或使用 WebSync 进行持续变化检测。
Expand的使用案例
- AI 代理网页访问
- 结构化数据提取
- 自动化网页抓取
- 内容摘要
- 网站变化监控
- 历史网页内容分析
- 开发者工具集成
- 增强代理上下文
- 研究和数据收集
- 竞争情报





