Description
Expand est un laboratoire de recherche appliquée qui développe des outils permettant aux agents IA d'accéder et de comprendre le web de manière humaine. Les outils de scraping web traditionnels s'appuient souvent sur le parsing de HTML brut, ce qui peut manquer de contexte visuel crucial, de mise en page et de données cachées qui ne sont apparentes que dans une page rendue par un navigateur.
Lire la suite
Expand résout ce problème en ouvrant toute URL donnée dans un véritable navigateur, permettant à son modèle Iris d'analyser la page entièrement rendue.
Le produit phare, Fetch, prend une URL et renvoie le contenu de la page sous forme de Markdown structuré, préservant les tableaux, les icônes et la mise en page globale. Il extrait également des données JSON cachées, appelées State JSON, qui contiennent souvent les données sous-jacentes alimentant les applications web dynamiques. Chaque ligne de la sortie Markdown est liée à son emplacement exact sur la page d'origine, fournissant aux agents un contexte vérifiable pour leurs lectures.
Expand propose divers éléments de base au-delà de Fetch. Iris et X-Ray fonctionnent sur les pages de navigateur, tandis que la Wayback Machine crée des instantanés rejouables des pages récupérées. Highlights identifie des extraits pertinents sur une page pour répondre à des questions spécifiques, réduisant le besoin pour les agents de traiter des documents entiers. Search aide les agents à trouver des pages dignes d'être récupérées, et Crawl permet aux agents de traiter des sites web entiers. WebSync surveille en continu les sites pour détecter des changements, tenant les agents informés.
La plateforme est conçue pour les développeurs et les agents, offrant une intégration via une CLI, un SDK TypeScript et une API directe. Elle gère automatiquement les vérifications de bot courantes et les CAPTCHAs comme Cloudflare, Turnstile et reCAPTCHA pour les pages publiques, bien qu'elle ne contourne pas les connexions ou les paywalls. La tarification est basée sur des crédits, avec 1 000 crédits coûtant 1 $. Une opération Fetch standard coûte 1 crédit, avec des coûts supplémentaires pour des fonctionnalités comme Highlights, des documents convertis, des modèles de vision, des vidéos et de l'audio transcrit. Le système ne facture que le contenu livré, pas les tentatives échouées.
Expand vise à donner aux agents IA une compréhension plus complète et précise du web, allant au-delà du simple parsing HTML pour interpréter le contexte visuel et riche en données des pages rendues. Cette capacité est essentielle pour que les agents effectuent des tâches complexes et interagissent avec les informations en ligne aussi efficacement que les humains.
- CatégorieCréateurs d'agents IA
- Modèle tarifaireBasé sur des crédits
- DéploiementCloud
- PlateformesWeb
Fonctionnalités principales de Expand
Rendu dans un véritable navigateur : Ouvre des URL dans un véritable navigateur pour traiter les pages rendues, pas seulement le HTML.
Sortie Markdown structurée : Renvoie les pages web sous forme de Markdown, préservant les tableaux, les icônes et la mise en page.
Extraction de JSON caché (State JSON) : Extrait les données sous-jacentes des pages web dynamiques.
Liens vers la source : Chaque ligne de sortie renvoie à son emplacement exact sur la page d'origine.
Accès API : Fournit une API robuste pour que les agents interagissent avec le contenu web.
SDK et CLI : Offre un SDK TypeScript et une interface en ligne de commande pour l'intégration.
Contournement de bot et CAPTCHA : Gère automatiquement les vérifications de bot courantes et les CAPTCHAs pour les pages publiques.
Instantanés de page : Crée des instantanés rejouables des pages de navigateur récupérées.
Mise en évidence de contenu : Identifie et extrait des extraits pertinents qui répondent à des questions spécifiques.
Exploration de site web : Permet aux agents d'explorer des sites web entiers pour une collecte de données complète.
Surveillance des changements web (WebSync) : Surveille en continu les sites web pour des mises à jour et des changements.
Facturation basée sur des crédits : Facture en fonction des crédits prépayés pour la sortie livrée, pas des jetons.
Divulgation progressive : Renvoie d'abord le contenu principal, avec des pointeurs vers les données retenues pour plus d'efficacité.
Liens de citation : Fournit des URL de citation pour les extraits mis en évidence pour vérification.
Guides de configuration d'agent : Offre /start.md pour une configuration facile des agents.
Comment utiliser Expand ?
Connecter l'agent : Utilisez /start.md, CLI, SDK TypeScript ou API pour intégrer Expand avec votre agent.
Envoyer l'URL : Soumettez une URL de page à l'API Fetch d'Expand.
Recevoir une sortie structurée : Obtenez la page rendue sous forme de Markdown, State JSON et un instantané.
Traiter le contenu : Utilisez la sortie structurée pour les tâches des agents, en tirant parti des liens sources pour le contexte.
Extraire des spécificités : Utilisez Highlights pour trouver des extraits répondant à des questions ou le mode JSON pour des champs séparés.
Surveiller les sites web : Implémentez Crawl pour un traitement complet du site ou WebSync pour une détection continue des changements.
Cas d'utilisation de Expand
- Accès web pour agents IA
- Extraction de données structurées
- Scraping web automatisé
- Résumé de contenu
- Surveillance des changements de site web
- Analyse historique du contenu web
- Intégration d'outils pour développeurs
- Contexte amélioré pour agents
- Recherche et collecte de données
- Intelligence concurrentielle





