Descripción
Expand es un laboratorio de investigación aplicada que construye herramientas que permiten a los agentes de IA acceder y comprender la web de manera similar a los humanos. Las herramientas tradicionales de scraping web a menudo dependen del análisis de HTML en bruto, lo que puede pasar por alto el contexto visual crucial, el diseño y los datos ocultos que solo son evidentes en una página renderizada en un navegador. Expand aborda esto abriendo cualquier URL dada en un navegador real, permitiendo que su modelo Iris analice la página completamente renderizada.
Leer más
El producto central, Fetch, toma una URL y devuelve el contenido de la página como Markdown estructurado, preservando tablas, íconos y el diseño general. Crucialmente, también extrae datos JSON ocultos, denominados State JSON, que a menudo contienen los datos subyacentes que alimentan aplicaciones web dinámicas. Cada línea de la salida en Markdown está vinculada a su ubicación exacta en la página original, proporcionando a los agentes un contexto verificable para sus lecturas.
Expand ofrece varios bloques de construcción más allá de Fetch. Iris y X-Ray trabajan en páginas de navegador, mientras que la Wayback Machine crea instantáneas reproducibles de las páginas obtenidas. Highlights identifica fragmentos relevantes en una página para responder preguntas específicas, reduciendo la necesidad de que los agentes procesen documentos completos. Search ayuda a los agentes a encontrar páginas que valga la pena obtener, y Crawl permite a los agentes procesar sitios web completos. WebSync monitorea continuamente los sitios en busca de cambios, manteniendo a los agentes actualizados.
La plataforma está diseñada para desarrolladores y agentes, ofreciendo integración a través de una CLI, SDK de TypeScript y una API directa. Maneja automáticamente las verificaciones comunes de bots y CAPTCHAs como Cloudflare, Turnstile y reCAPTCHA para páginas públicas, aunque no elude inicios de sesión o muros de pago. La tarificación se basa en créditos, con 1,000 créditos costando $1. Una operación estándar de Fetch cuesta 1 crédito, con costos adicionales por características como Highlights, documentos convertidos, modelos de visión, video y audio transcrito. El sistema solo cobra por el contenido entregado, no por intentos fallidos.
Expand tiene como objetivo empoderar a los agentes de IA con una comprensión más completa y precisa de la web, yendo más allá del simple análisis de HTML para interpretar el contexto visual y rico en datos de las páginas renderizadas. Esta capacidad es vital para que los agentes realicen tareas complejas e interactúen con la información en línea de manera tan efectiva como los humanos.
- CategoríaCreadores de agentes de IA
- Modelo de preciosBasado en créditos
- ImplementaciónNube
- PlataformasWeb
Características principales de Expand
Renderizado en Navegador Real: Abre URLs en un navegador real para procesar páginas renderizadas, no solo HTML.
Salida en Markdown Estructurado: Devuelve páginas web como Markdown, preservando tablas, íconos y diseño.
Extracción de JSON Oculto (State JSON): Extrae datos subyacentes de páginas web dinámicas.
Vinculación de Fuentes: Cada línea de salida se vincula a su ubicación exacta en la página original.
Acceso a API: Proporciona una API robusta para que los agentes interactúen con el contenido web.
SDKs y CLI: Ofrece SDK de TypeScript e Interfaz de Línea de Comandos para integración.
Elusión de Bots y CAPTCHAs: Maneja automáticamente las verificaciones comunes de bots y CAPTCHAs para páginas públicas.
Instantáneas de Páginas: Crea instantáneas reproducibles de páginas de navegador obtenidas.
Resaltado de Contenido: Identifica y extrae fragmentos relevantes que responden preguntas específicas.
Rastreo de Sitios Web: Permite a los agentes rastrear sitios web completos para una recopilación de datos integral.
Monitoreo de Cambios en la Web (WebSync): Monitorea continuamente sitios web en busca de actualizaciones y cambios.
Facturación Basada en Créditos: Cobra en función de créditos prepagados por la salida entregada, no por tokens.
Divulgación Progresiva: Devuelve el contenido principal primero, con indicaciones sobre datos retenidos para eficiencia.
Enlaces de Citación: Proporciona URLs de citación para fragmentos destacados para verificación.
Guías de Configuración de Agentes: Ofrece /start.md para una fácil configuración de agentes.
¿Cómo usar Expand?
Conectar Agente: Usa /start.md, CLI, SDK de TypeScript o API para integrar Expand con tu agente.
Enviar URL: Envía una URL de página a la API Fetch de Expand.
Recibir Salida Estructurada: Obtén la página renderizada de vuelta como Markdown, State JSON y una Instantánea.
Procesar Contenido: Utiliza la salida estructurada para tareas de agente, aprovechando los enlaces de fuente para contexto.
Extraer Específicos: Usa Highlights para encontrar fragmentos que respondan preguntas o Modo JSON para campos separados.
Monitorear Sitios Web: Implementa Crawl para procesamiento completo del sitio o WebSync para detección continua de cambios.
Casos de uso de Expand
- Acceso Web para Agentes de IA
- Extracción de Datos Estructurados
- Scraping Web Automatizado
- Resumen de Contenido
- Monitoreo de Cambios en Sitios Web
- Análisis Histórico de Contenido Web
- Integración de Herramientas para Desarrolladores
- Contexto Mejorado para Agentes
- Investigación y Recopilación de Datos
- Inteligencia Competitiva





