설명
Expand는 AI 에이전트가 인간과 유사한 방식으로 웹에 접근하고 이해할 수 있도록 도구를 구축하는 응용 연구 실험실입니다. 전통적인 웹 스크래핑 도구는 종종 원시 HTML을 파싱하는 데 의존하여 렌더링된 브라우저 페이지에서만 명확한 중요한 시각적 맥락, 레이아웃 및 숨겨진 데이터를 놓칠 수 있습니다. Expand는 주어진 URL을 실제 브라우저에서 열어 Iris 모델이 완전히 렌더링된 페이지를 분석할 수 있도록 합니다.
더 읽기
핵심 제품인 Fetch는 URL을 받아 페이지 콘텐츠를 구조화된 Markdown으로 반환하며, 테이블, 아이콘 및 전체 레이아웃을 보존합니다. 특히, 동적 웹 애플리케이션을 지원하는 기본 데이터를 포함하는 숨겨진 JSON 데이터인 State JSON도 추출합니다. Markdown 출력의 각 라인은 원본 페이지의 정확한 위치로 연결되어 에이전트가 읽기에 대한 검증 가능한 맥락을 제공합니다.
Expand는 Fetch 외에도 다양한 빌딩 블록을 제공합니다. Iris와 X-Ray는 브라우저 페이지에서 작동하며, Wayback Machine은 가져온 페이지의 재생 가능한 스냅샷을 생성합니다. Highlights는 특정 질문에 대한 답변을 제공하기 위해 페이지에서 관련 스니펫을 식별하여 에이전트가 전체 문서를 처리할 필요를 줄입니다. Search는 에이전트가 가져올 가치가 있는 페이지를 찾도록 도와주고, Crawl은 에이전트가 전체 웹사이트를 처리할 수 있도록 합니다. WebSync는 사이트의 변경 사항을 지속적으로 모니터링하여 에이전트를 최신 상태로 유지합니다.
이 플랫폼은 개발자와 에이전트를 위해 설계되었으며, CLI, TypeScript SDK 및 직접 API를 통해 통합을 제공합니다. 공용 페이지에 대해 Cloudflare, Turnstile 및 reCAPTCHA와 같은 일반적인 봇 검사 및 CAPTCHA를 자동으로 처리하지만, 로그인이나 유료 장벽을 우회하지는 않습니다. 가격은 크레딧 기반으로, 1,000 크레딧은 $1입니다. 표준 Fetch 작업은 1 크레딧이 소요되며, Highlights, 변환된 문서, 비전 모델, 비디오 및 전사된 오디오와 같은 기능에 추가 비용이 발생합니다. 시스템은 실패한 시도에 대해 요금을 부과하지 않고 제공된 콘텐츠에 대해서만 요금을 부과합니다.
Expand는 AI 에이전트가 웹에 대한 보다 완전하고 정확한 이해를 갖도록 하여 단순한 HTML 파싱을 넘어 렌더링된 페이지의 시각적 및 데이터가 풍부한 맥락을 해석할 수 있도록 하는 것을 목표로 합니다. 이 기능은 에이전트가 복잡한 작업을 수행하고 온라인 정보와 효과적으로 상호작용하는 데 필수적입니다.
- 카테고리AI 에이전트 빌더
- 요금제크레딧 기반
- 배포클라우드
- 플랫폼웹
Expand의 핵심 기능
실제 브라우저 렌더링: HTML뿐만 아니라 실제 브라우저에서 URL을 열어 렌더링된 페이지를 처리합니다.
구조화된 Markdown 출력: 웹 페이지를 Markdown으로 반환하며, 테이블, 아이콘 및 레이아웃을 보존합니다.
숨겨진 JSON 추출 (State JSON): 동적 웹 페이지에서 기본 데이터를 추출합니다.
출처 링크: 모든 출력 라인은 원본 페이지의 정확한 위치로 연결됩니다.
API 접근: 웹 콘텐츠와 상호작용할 수 있는 강력한 API를 제공합니다.
SDK 및 CLI: 통합을 위한 TypeScript SDK 및 명령줄 인터페이스를 제공합니다.
봇 및 CAPTCHA 우회: 공용 페이지에 대해 일반적인 봇 검사 및 CAPTCHA를 자동으로 처리합니다.
페이지 스냅샷: 가져온 브라우저 페이지의 재생 가능한 스냅샷을 생성합니다.
콘텐츠 하이라이팅: 특정 질문에 대한 답변을 제공하는 관련 스니펫을 식별하고 추출합니다.
웹사이트 크롤링: 에이전트가 포괄적인 데이터 수집을 위해 전체 웹사이트를 크롤링할 수 있도록 합니다.
웹 변경 모니터링 (WebSync): 웹사이트의 업데이트 및 변경 사항을 지속적으로 모니터링합니다.
크레딧 기반 청구: 제공된 출력에 대해 선불 크레딧을 기준으로 요금을 부과하며, 토큰이 아닙니다.
점진적 공개: 주요 콘텐츠를 먼저 반환하고, 효율성을 위해 보류된 데이터에 대한 포인터를 제공합니다.
인용 링크: 검증을 위한 하이라이트된 스니펫에 대한 인용 URL을 제공합니다.
에이전트 설정 가이드: 에이전트 구성을 쉽게 할 수 있도록 /start.md를 제공합니다.
Expand 사용 방법은?
에이전트 연결: /start.md, CLI, TypeScript SDK 또는 API를 사용하여 Expand를 에이전트와 통합합니다.
URL 전송: Expand의 Fetch API에 페이지 URL을 제출합니다.
구조화된 출력 수신: 렌더링된 페이지를 Markdown, State JSON 및 스냅샷으로 받습니다.
콘텐츠 처리: 구조화된 출력을 에이전트 작업에 활용하고, 맥락을 위해 출처 링크를 활용합니다.
특정 내용 추출: Highlights를 사용하여 질문에 대한 답변을 찾거나 JSON 모드를 사용하여 별도의 필드를 추출합니다.
웹사이트 모니터링: 전체 사이트 처리를 위해 Crawl을 구현하거나 지속적인 변경 감지를 위해 WebSync를 사용합니다.
Expand의 사용 사례
- AI 에이전트 웹 접근
- 구조화된 데이터 추출
- 자동화된 웹 스크래핑
- 콘텐츠 요약
- 웹사이트 변경 모니터링
- 역사적 웹 콘텐츠 분석
- 개발자 도구 통합
- 향상된 에이전트 맥락
- 연구 및 데이터 수집
- 경쟁 정보





