Descrição
O modelo cklxx/laya-browser é um modelo especializado de extração de características, com 0,3 bilhões de parâmetros, projetado para funcionar como uma cabeça de decisão de agente de navegador. É uma versão ajustada do modelo `laya` (convaiinnovations/laya), que opera como um modelo de decisão "Sistema 1" não autoregressivo. Ao contrário dos modelos autoregressivos tradicionais, `laya` utiliza uma única passagem de codificador bidirecional para responder a várias perguntas digitadas (escolha, pontuação, noul) com probabilidades calibradas, sem gerar texto.
Ler mais
Este repositório específico ajusta `laya` especificamente para tarefas de automação de navegador, servindo como uma substituição direta para `browser-use/jev-ultrafast`. Ele processa solicitações `/v1/systemone`, que refletem a função `predict(state, questions)` de `laya`. Em cada etapa, o modelo realiza uma passagem para frente, levando aproximadamente 22 milissegundos em um clock completo de GPU, para selecionar a operação apropriada (como CLICK, TYPE_TEXT, SELECT, PRESS_ENTER, SCROLL ou DONE) e seu correspondente elemento-alvo em uma página da web.
O modelo foi treinado e avaliado localmente em uma RTX 4070 Ti SUPER (16 GB) sem depender de APIs pagas. Para entrada de texto e seleção de valores de dropdown, ele se integra com um modelo local Qwen3-8B-AWQ. A versão atual, v19s, está disponível na raiz do repositório, com pontos de verificação anteriores acessíveis no histórico de commits. Atualizações são lançadas apenas quando uma nova versão demonstra melhorias claras.
Os resultados da avaliação destacam seu desempenho em várias suítes. A Suíte C, que envolve 27 tarefas de múltiplos passos em sites reais retidos (incluindo pesquisa, filtros, classificação e operações abertas), mostra que v19s alcança aproximadamente 20–26% de sucesso, uma melhoria significativa em relação ao 2/54 do v17s. A Suíte B, com 18 tarefas em 18 sites retidos, mantém uma pontuação perfeita de 54/54 tanto para v17s quanto para v19s. Na Suíte A, composta por 16 tarefas originais de sites reais, v19s marcou 39/48. Para formulários sintéticos retidos do webgym (7 tipos × 10), v19s alcançou 30/70, dobrando o 15/70 do v17s. O modelo também demonstra um desempenho forte em decisões retidas em sites não vistos (WebChain) para operação de clique e precisão do alvo top-1.
A latência para uma única decisão é tipicamente de 22–27 ms em uma RTX 4070 Ti SUPER em clock completo. No entanto, se a GPU cair para clocks ociosos entre decisões (devido à espera pelo carregamento de páginas), decisões subsequentes podem levar de 75 a 270 ms. Os usuários podem bloquear o clock mínimo de SM para mitigar isso. O modelo é integrado usando `transformers` e `torch`, enviando seu próprio código. Ele também pode ser carregado via o pacote upstream `laya`. As principais mudanças desde o v17s incluem melhorias no harness, como esperar a conclusão da navegação, um "guarda de desfazer" para evitar ações repetitivas, melhor manuseio de dados de campos de formulário e opções de rolagem para visualização. Os dados de treinamento também foram expandidos com trajetórias humanas do WebChain e DAgger no webgym. As limitações atuais incluem parar muito cedo em tarefas de múltiplos passos e problemas com páginas que exigem rolagem extensa ou sites que bloqueiam o Chromium sem cabeça.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de cklxx/laya-browser
Modelo de decisão não autoregressivo para automação de navegador
Passagem única de codificador bidirecional para perguntas digitadas
Probabilidades calibradas para respostas de escolha, pontuação e noul
Substituição direta para browser-use/jev-ultrafast
Seleciona operações de navegador (CLICK, TYPE_TEXT, SELECT, PRESS_ENTER, SCROLL, DONE)
Identifica elementos-alvo para operações
Latência de decisão rápida de ~22 ms em clock completo de GPU
Treinado e avaliado localmente em RTX 4070 Ti SUPER
Integra-se com Qwen3-8B-AWQ local para entrada de texto e valores de dropdown
Suporta tarefas de múltiplos passos em sites do mundo real
Inclui um "guarda de desfazer" para evitar ações repetitivas
Melhor manuseio de espaços reservados, tipos e padrões de campos de formulário
Oferece opções roladas para fora da visualização, rolando-as para a visualização
Treinado com trajetórias humanas do WebChain e DAgger no webgym
Licença Apache-2.0 para o código do modelo
Primeiros passos com cklxx/laya-browser
Acessar Modelo: Baixe o modelo cklxx/laya-browser do Hugging Face.
Configurar Ambiente: Certifique-se de que as bibliotecas `torch` e `transformers` estão instaladas em seu ambiente Python.
Integrar via API: Use a função `decide` para construir solicitações no formato treinado do modelo e executar uma passagem para frente.
Utilizar como Substituição: Implemente `m.systemone(body)` para responder a solicitações `jev-ultrafast /v1/systemone`.
Carregar com Pacote Laya: Alternativamente, carregue o modelo usando `laya.load("cklxx/laya-browser")` com o pacote upstream `laya`.
Aplicar Melhorias no Harness: Aplique o `code/jev-ultrafast.patch` ao `jev-ultrafast` para melhorar a avaliação e a configuração de treinamento.
Otimizar Latência: Opcionalmente, bloqueie o clock mínimo de SM da GPU usando `sudo nvidia-smi -lgc 2100,3135` para reduzir a latência de decisão.
Casos de uso de cklxx/laya-browser
- Navegação Automatizada em Navegador
- Extração de Dados da Web
- Automação de Preenchimento de Formulários
- Teste de Sites
- Interação Baseada em Agente na Web
- Coleta de Dados para Pesquisa
- Tarefas Online Repetitivas






