Описание
Expand — это лаборатория прикладных исследований, которая разрабатывает инструменты, позволяющие AI-агентам получать доступ к вебу и понимать его так, как это делает человек. Традиционные инструменты веб-скрапинга часто полагаются на парсинг сырого HTML, что может упустить важный визуальный контекст, макет и скрытые данные, которые становятся очевидными только на отрендеренной странице в браузере. Expand решает эту проблему, открывая любой заданный URL в реальном браузере, позволяя своей модели Iris анализировать полностью отрендеренную страницу.
Читать далее
Основной продукт, Fetch, принимает URL и возвращает содержимое страницы в виде структурированного Markdown, сохраняя таблицы, иконки и общий макет. Ключевым моментом является то, что он также извлекает скрытые данные JSON, называемые State JSON, которые часто содержат основные данные, поддерживающие динамические веб-приложения. Каждая строка Markdown-вывода ссылается на свое точное место на оригинальной странице, предоставляя агентам проверяемый контекст для их чтения.
Expand предлагает различные строительные блоки помимо Fetch. Iris и X-Ray работают с веб-страницами, в то время как Wayback Machine создает воспроизводимые снимки загруженных страниц. Highlights определяет релевантные фрагменты на странице для ответов на конкретные вопросы, уменьшая необходимость агентам обрабатывать целые документы. Search помогает агентам находить страницы, которые стоит загружать, а Crawl позволяет агентам обрабатывать целые веб-сайты. WebSync постоянно отслеживает изменения на сайтах, поддерживая агентов в курсе.
Платформа разработана для разработчиков и агентов, предлагая интеграцию через CLI, TypeScript SDK и прямой API. Она автоматически обрабатывает общие проверки ботов и CAPTCHA, такие как Cloudflare, Turnstile и reCAPTCHA для публичных страниц, хотя не обходит входы или платные стены. Цены основаны на кредитах, 1,000 кредитов стоят $1. Операция Fetch стоит 1 кредит, с дополнительными затратами за такие функции, как Highlights, конвертированные документы, модели зрения, видео и транскрибированный аудио. Система взимает плату только за доставленный контент, а не за неудачные попытки.
Expand стремится наделить AI-агентов более полным и точным пониманием веба, выходя за рамки простого парсинга HTML, чтобы интерпретировать визуальный и богатый данными контекст отрендеренных страниц. Эта способность жизненно важна для агентов, чтобы выполнять сложные задачи и взаимодействовать с онлайн-информацией так же эффективно, как и люди.
- КатегорияКонструкторы AI-агентов
- Модель ценообразованияНа основе кредитов
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции Expand
Отрисовка в реальном браузере: Открывает URL в реальном браузере для обработки отрендеренных страниц, а не только HTML.
Структурированный вывод Markdown: Возвращает веб-страницы в виде Markdown, сохраняя таблицы, иконки и макет.
Извлечение скрытого JSON (State JSON): Извлекает основные данные с динамических веб-страниц.
Ссылки на источник: Каждая строка вывода ссылается на свое точное место на оригинальной странице.
Доступ к API: Предоставляет надежный API для взаимодействия агентов с веб-контентом.
SDK и CLI: Предлагает TypeScript SDK и интерфейс командной строки для интеграции.
Обход ботов и CAPTCHA: Автоматически обрабатывает общие проверки ботов и CAPTCHA для публичных страниц.
Снимки страниц: Создает воспроизводимые снимки загруженных страниц браузера.
Выделение контента: Определяет и извлекает релевантные фрагменты, которые отвечают на конкретные вопросы.
Обход веб-сайтов: Позволяет агентам обходить целые веб-сайты для комплексного сбора данных.
Мониторинг изменений на вебе (WebSync): Постоянно отслеживает веб-сайты на предмет обновлений и изменений.
Платежи на основе кредитов: Взимает плату на основе предоплаченных кредитов за доставленный вывод, а не за токены.
Постепенное раскрытие: Сначала возвращает основной контент, с указателями на удерживаемые данные для эффективности.
Ссылки на цитаты: Предоставляет URL для цитирования выделенных фрагментов для проверки.
Руководства по настройке агентов: Предлагает /start.md для легкой конфигурации агентов.
Как использовать Expand?
Подключите агента: Используйте /start.md, CLI, TypeScript SDK или API для интеграции Expand с вашим агентом.
Отправьте URL: Отправьте URL страницы в Fetch API Expand.
Получите структурированный вывод: Получите отрендеренную страницу обратно в виде Markdown, State JSON и снимка.
Обработайте содержимое: Используйте структурированный вывод для задач агента, используя ссылки на источник для контекста.
Извлеките конкретные данные: Используйте Highlights для поиска фрагментов, отвечающих на вопросы, или JSON Mode для отдельных полей.
Мониторьте веб-сайты: Реализуйте Crawl для полного обхода сайта или WebSync для непрерывного обнаружения изменений.
Варианты использования Expand
- Доступ AI-агента к вебу
- Извлечение структурированных данных
- Автоматизированный веб-скрапинг
- Суммирование контента
- Мониторинг изменений на веб-сайтах
- Исторический анализ веб-контента
- Интеграция инструментов для разработчиков
- Расширенный контекст агента
- Исследования и сбор данных
- Конкурентная разведка





