Описание
Модель cklxx/laya-browser — это специализированная модель извлечения признаков, обладающая 0,3 миллиарда параметров, предназначенная для работы в качестве головы принятия решений для браузерного агента. Это дообученная версия модели `laya` (convaiinnovations/laya), которая работает как неавторегрессионная модель принятия решений «Система 1». В отличие от традиционных авторегрессионных моделей, `laya` использует один проход двунаправленного кодировщика для ответа на несколько типизированных вопросов (выбор, оценка, noul) с откалиброванными вероятностями, без генерации текста.
Читать далее
Этот конкретный репозиторий дообучает `laya` специально для задач автоматизации браузера, служа заменой для `browser-use/jev-ultrafast`. Он обрабатывает запросы `/v1/systemone`, которые отражают функцию `laya` `predict(state, questions)`. На каждом шаге модель выполняет один прямой проход, который занимает примерно 22 миллисекунды на полном тактовом режиме GPU, чтобы выбрать соответствующую операцию (например, CLICK, TYPE_TEXT, SELECT, PRESS_ENTER, SCROLL или DONE) и соответствующий целевой элемент на веб-странице.
Модель была обучена и оценена локально на RTX 4070 Ti SUPER (16 ГБ) без использования платных API. Для ввода текста и выбора значений из выпадающих списков она интегрируется с локальной моделью Qwen3-8B-AWQ. Текущая версия, v19s, доступна в корне репозитория, а более ранние контрольные точки можно найти в истории коммитов. Обновления выпускаются только тогда, когда новая версия демонстрирует явные улучшения.
Результаты оценки подчеркивают ее производительность в различных наборах. Набор C, который включает 27 многошаговых задач на отложенных реальных сайтах (включая поиск, фильтры, сортировку и открытие операций), показывает, что v19s достигает примерно 20–26% успеха, что является значительным улучшением по сравнению с 2/54 v17s. Набор B, с 18 задачами на 18 отложенных сайтах, сохраняет идеальный результат 54/54 как для v17s, так и для v19s. В Наборе A, состоящем из 16 оригинальных задач на реальных сайтах, v19s набрала 39/48. Для синтетических форм webgym (7 видов × 10) v19s достигла 30/70, удвоив результат v17s 15/70. Модель также демонстрирует высокую производительность в отложенных решениях на невидимых сайтах (WebChain) для операции клика и точности целевого элемента top-1.
Задержка для одного решения обычно составляет 22–27 мс на RTX 4070 Ti SUPER при полном тактовом режиме. Однако, если GPU переходит в режим ожидания между решениями (из-за ожидания загрузки страниц), последующие решения могут занять 75–270 мс. Пользователи могут зафиксировать минимальную тактовую частоту SM, чтобы смягчить это. Модель интегрирована с использованием `transformers` и `torch`, поставляется с собственным кодом. Она также может быть загружена через пакет `laya`. Ключевые изменения с момента v17s включают улучшения в системе, такие как ожидание завершения навигации, «защита от отмены», чтобы предотвратить повторяющиеся действия, лучшее управление данными полей форм и варианты прокрутки в вид.
Данные для обучения также были расширены с помощью человеческих траекторий WebChain и DAgger на webgym. Текущие ограничения включают преждевременное завершение многошаговых задач и проблемы с страницами, требующими обширной прокрутки, или сайтами, блокирующими безголовый Chromium.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о cklxx/laya-browser
Неавторегрессионная модель принятия решений для автоматизации браузера
Один проход двунаправленного кодировщика для типизированных вопросов
Откалиброванные вероятности для ответов выбора, оценки и noul
Замена для browser-use/jev-ultrafast
Выбор операций браузера (CLICK, TYPE_TEXT, SELECT, PRESS_ENTER, SCROLL, DONE)
Идентификация целевых элементов для операций
Быстрая задержка принятия решений ~22 мс на полном тактовом режиме GPU
Обучена и оценена локально на RTX 4070 Ti SUPER
Интеграция с локальной моделью Qwen3-8B-AWQ для ввода текста и значений выпадающих списков
Поддержка многошаговых задач на реальных веб-сайтах
Включает «защиту от отмены», чтобы предотвратить повторяющиеся действия
Улучшенное управление заполнителями, типами и шаблонами полей форм
Предлагает варианты прокрутки, чтобы вернуть элементы в вид
Обучена с использованием человеческих траекторий WebChain и DAgger на webgym
Лицензия Apache-2.0 для кода модели
Начало работы с cklxx/laya-browser
Доступ к модели: Скачайте модель cklxx/laya-browser с Hugging Face.
Настройка окружения: Убедитесь, что библиотеки `torch` и `transformers` установлены в вашем Python окружении.
Интеграция через API: Используйте функцию `decide`, чтобы построить запросы в обученном формате модели и выполнить прямой проход.
Использование в качестве замены: Реализуйте `m.systemone(body)`, чтобы ответить на запросы `jev-ultrafast /v1/systemone`.
Загрузка с пакетом Laya: В качестве альтернативы загрузите модель с помощью `laya.load("cklxx/laya-browser")` с пакетом `laya`.
Применение улучшений системы: Примените `code/jev-ultrafast.patch` к `jev-ultrafast` для улучшенной оценки и настройки обучения.
Оптимизация задержки: При желании зафиксируйте минимальную тактовую частоту SM GPU с помощью `sudo nvidia-smi -lgc 2100,3135`, чтобы уменьшить задержку принятия решений.
Варианты использования cklxx/laya-browser
- Автоматизированная навигация по браузеру
- Извлечение данных из веба
- Автоматизация заполнения форм
- Тестирование веб-сайтов
- Веб-взаимодействие на основе агентов
- Сбор данных для исследований
- Повторяющиеся онлайн-задачи






