Beschreibung
Expand ist ein angewandtes Forschungslabor, das Werkzeuge entwickelt, die es KI-Agenten ermöglichen, das Web auf menschliche Weise zuzugreifen und zu verstehen. Traditionelle Web-Scraping-Tools basieren oft auf der Analyse von rohem HTML, was entscheidenden visuellen Kontext, Layout und versteckte Daten übersehen kann, die nur auf einer gerenderten Browserseite sichtbar sind. Expand geht dies an, indem es jede gegebene URL in einem echten Browser öffnet, sodass das Iris-Modell die vollständig gerenderte Seite analysieren kann.
Weiterlesen
Das Kernprodukt, Fetch, nimmt eine URL und gibt den Seiteninhalt als strukturiertes Markdown zurück, wobei Tabellen, Icons und das gesamte Layout erhalten bleiben. Entscheidend ist auch, dass es versteckte JSON-Daten extrahiert, die als State JSON bezeichnet werden und oft die zugrunde liegenden Daten enthalten, die dynamische Webanwendungen antreiben. Jede Zeile der Markdown-Ausgabe ist mit ihrem genauen Standort auf der Originalseite verlinkt, was den Agenten verifizierbaren Kontext für ihre Auswertungen bietet.
Expand bietet verschiedene Bausteine über Fetch hinaus. Iris und X-Ray arbeiten auf Browserseiten, während die Wayback Machine wiederholbare Snapshots der abgerufenen Seiten erstellt. Highlights identifiziert relevante Ausschnitte auf einer Seite, um spezifische Fragen zu beantworten, wodurch die Notwendigkeit verringert wird, dass Agenten gesamte Dokumente verarbeiten müssen. Search hilft Agenten, Seiten zu finden, die es wert sind, abgerufen zu werden, und Crawl ermöglicht es Agenten, ganze Websites zu verarbeiten. WebSync überwacht kontinuierlich Websites auf Änderungen und hält die Agenten auf dem Laufenden.
Die Plattform ist für Entwickler und Agenten konzipiert und bietet Integrationen über eine CLI, ein TypeScript SDK und eine direkte API. Sie verarbeitet automatisch gängige Bot-Prüfungen und CAPTCHAs wie Cloudflare, Turnstile und reCAPTCHA für öffentliche Seiten, umgeht jedoch keine Anmeldungen oder Bezahlschranken. Die Preisgestaltung basiert auf Credits, wobei 1.000 Credits 1 US-Dollar kosten. Ein Standard-Fetch-Vorgang kostet 1 Credit, mit zusätzlichen Kosten für Funktionen wie Highlights, konvertierte Dokumente, Vision-Modelle, Video und transkribiertes Audio. Das System berechnet nur für gelieferten Inhalt, nicht für fehlgeschlagene Versuche.
Expand zielt darauf ab, KI-Agenten ein vollständigeres und genaueres Verständnis des Webs zu ermöglichen, indem es über einfache HTML-Analyse hinausgeht, um den visuellen und datendichten Kontext gerenderter Seiten zu interpretieren. Diese Fähigkeit ist entscheidend für Agenten, um komplexe Aufgaben auszuführen und mit Online-Informationen so effektiv wie Menschen zu interagieren.
- KategorieKI-Agenten-Builder
- PreismodellKreditbasiert
- BereitstellungCloud
- PlattformenWeb
Expand's Kernfunktionen
Echte Browsergerenderung: Öffnet URLs in einem echten Browser, um gerenderte Seiten zu verarbeiten, nicht nur HTML.
Strukturierte Markdown-Ausgabe: Gibt Webseiten als Markdown zurück und bewahrt Tabellen, Icons und Layout.
Extraktion von verstecktem JSON (State JSON): Extrahiert zugrunde liegende Daten von dynamischen Webseiten.
Quellenverlinkung: Jede Ausgabelinie verweist auf ihren genauen Standort auf der Originalseite.
API-Zugriff: Bietet eine robuste API für Agenten, um mit Webinhalten zu interagieren.
SDKs & CLI: Bietet TypeScript SDK und Kommandozeilen-Schnittstelle für die Integration.
Bot- & CAPTCHA-Umgehung: Verarbeitet automatisch gängige Bot-Prüfungen und CAPTCHAs für öffentliche Seiten.
Seiten-Snapshots: Erstellt wiederholbare Snapshots der abgerufenen Browserseiten.
Inhaltsmarkierung: Identifiziert und extrahiert relevante Ausschnitte, die spezifische Fragen beantworten.
Website-Crawling: Ermöglicht Agenten, ganze Websites für umfassende Datensammlungen zu crawlen.
Überwachung von Webänderungen (WebSync): Überwacht kontinuierlich Websites auf Updates und Änderungen.
Guthabenbasierte Abrechnung: Berechnet basierend auf vorausbezahlten Credits für gelieferten Output, nicht für Tokens.
Progressive Offenlegung: Gibt zuerst den Hauptinhalt zurück, mit Hinweisen auf zurückgehaltene Daten zur Effizienz.
Zitationslinks: Bietet Zitations-URLs für hervorgehobene Ausschnitte zur Verifizierung.
Agenten-Einrichtungsanleitungen: Bietet /start.md für eine einfache Agentenkonfiguration.
Wie verwendet man Expand?
Agent verbinden: Verwenden Sie /start.md, CLI, TypeScript SDK oder API, um Expand mit Ihrem Agenten zu integrieren.
URL senden: Reichen Sie eine Seiten-URL an Expands Fetch-API ein.
Strukturierte Ausgabe erhalten: Erhalten Sie die gerenderte Seite zurück als Markdown, State JSON und einen Snapshot.
Inhalt verarbeiten: Nutzen Sie die strukturierte Ausgabe für Agentenaufgaben und verwenden Sie Quellenlinks für den Kontext.
Spezifika extrahieren: Verwenden Sie Highlights, um Ausschnitte zu finden, die Fragen beantworten, oder den JSON-Modus für separate Felder.
Websites überwachen: Implementieren Sie Crawl für die vollständige Verarbeitung von Websites oder WebSync für kontinuierliche Änderungsüberwachung.
Expand's Anwendungsfälle
- KI-Agent Webzugang
- Strukturierte Datenextraktion
- Automatisiertes Web-Scraping
- Inhaltszusammenfassung
- Überwachung von Website-Änderungen
- Historische Analyse von Webinhalten
- Integration von Entwicklerwerkzeugen
- Erweiterter Agenten-Kontext
- Forschung und Datensammlung
- Wettbewerbsintelligenz





