Beschreibung
Das cklxx/laya-browser-Modell ist ein spezialisiertes Merkmalsextraktionsmodell mit 0,3 Milliarden Parametern, das als Entscheidungs-Head für Browser-Agenten fungiert. Es ist eine feinabgestimmte Version des `laya`-Modells (convaiinnovations/laya), das als nicht-autoregressives „System 1“-Entscheidungsmodell arbeitet. Im Gegensatz zu traditionellen autoregressiven Modellen verwendet `laya` einen einzigen bidirektionalen Encoder-Durchlauf, um mehrere typisierte Fragen (Auswahl, Punktzahl, noul) mit kalibrierten Wahrscheinlichkeiten zu beantworten, ohne Text zu generieren.
Weiterlesen
Dieses spezielle Repository passt `laya` gezielt für Aufgaben der Browser-Automatisierung an und dient als sofortiger Ersatz für `browser-use/jev-ultrafast`. Es verarbeitet `/v1/systemone`-Anfragen, die der `laya`-Funktion `predict(state, questions)` entsprechen. In jedem Schritt führt das Modell einen Vorwärtsdurchlauf durch, der auf einem vollständigen GPU-Takt etwa 22 Millisekunden dauert, um die geeignete Operation (wie KLICK, TEXT_EINGEBEN, AUSWÄHLEN, ENTER_DRÜCKEN, SCROLLEN oder FERTIG) und das entsprechende Ziel-Element auf einer Webseite auszuwählen.
Das Modell wurde lokal auf einer RTX 4070 Ti SUPER (16 GB) trainiert und evaluiert, ohne auf kostenpflichtige APIs zurückzugreifen. Für Texteingaben und die Auswahl von Dropdown-Werten integriert es sich mit einem lokalen Qwen3-8B-AWQ-Modell. Die aktuelle Version, v19s, ist im Repository-Stamm verfügbar, während frühere Checkpoints in der Commit-Historie zugänglich sind. Updates werden nur veröffentlicht, wenn eine neue Version deutliche Verbesserungen zeigt.
Die Evaluierungsergebnisse heben die Leistung in verschiedenen Suiten hervor. Suite C, die 27 mehrstufige Aufgaben auf realen, zurückgehaltenen Websites umfasst (einschließlich Suche, Filter, Sortierung und Öffnungsoperationen), zeigt, dass v19s etwa 20–26 % Erfolg erzielt, was eine erhebliche Verbesserung gegenüber den 2/54 von v17s darstellt. Suite B, mit 18 Aufgaben auf 18 zurückgehaltenen Websites, hält eine perfekte Punktzahl von 54/54 sowohl für v17s als auch für v19s. In Suite A, die 16 originale Aufgaben auf echten Websites umfasst, erzielte v19s 39/48. Für die zurückgehaltenen synthetischen Formulare von webgym (7 Arten × 10) erreichte v19s 30/70 und verdoppelte damit die 15/70 von v17s. Das Modell zeigt auch eine starke Leistung bei zurückgehaltenen Entscheidungen auf unbekannten Websites (WebChain) für Klickraten und Ziel-Top-1-Genauigkeit.
Die Latenz für eine einzelne Entscheidung beträgt typischerweise 22–27 ms auf einer RTX 4070 Ti SUPER bei vollem Takt. Wenn die GPU jedoch zwischen den Entscheidungen auf Leerlauf-Takt sinkt (aufgrund des Wartens auf das Laden von Seiten), können nachfolgende Entscheidungen 75–270 ms in Anspruch nehmen. Benutzer können den minimalen SM-Takt sperren, um dies zu mildern. Das Modell wird mit `transformers` und `torch` integriert und liefert eigenen Code. Es kann auch über das upstream `laya`-Paket geladen werden. Wichtige Änderungen seit v17s umfassen Verbesserungen des Harness, wie das Warten auf den Abschluss der Navigation, einen „Undo Guard“, um wiederholte Aktionen zu verhindern, eine bessere Handhabung von Formulardaten und Optionen, die in den Sichtbereich gescrollt werden. Die Trainingsdaten wurden auch mit menschlichen Trajektorien von WebChain und DAgger auf webgym erweitert. Aktuelle Einschränkungen umfassen das vorzeitige Stoppen bei mehrstufigen Aufgaben und Probleme mit Seiten, die umfangreiches Scrollen erfordern oder Websites, die headless Chromium blockieren.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
cklxx/laya-browser im Überblick
Nicht-autoregressives Entscheidungsmodell für die Browser-Automatisierung
Einzelner bidirektionaler Encoder-Durchlauf für typisierte Fragen
Kalibrierte Wahrscheinlichkeiten für Auswahl-, Punktzahl- und noul-Antworten
Sofortiger Ersatz für browser-use/jev-ultrafast
Wählt Browser-Operationen (KLICK, TEXT_EINGEBEN, AUSWÄHLEN, ENTER_DRÜCKEN, SCROLLEN, FERTIG)
Identifiziert Ziel-Elemente für Operationen
Schnelle Entscheidungs-Latenz von ~22 ms bei vollem GPU-Takt
Lokal auf RTX 4070 Ti SUPER trainiert und evaluiert
Integriert sich mit lokalem Qwen3-8B-AWQ für Texteingaben und Dropdown-Werte
Unterstützt mehrstufige Aufgaben auf realen Websites
Beinhaltet einen "Undo Guard", um wiederholte Aktionen zu verhindern
Verbesserte Handhabung von Platzhaltern, Typen und Mustern in Formularfeldern
Bietet Optionen, die aus dem Sichtbereich gescrollt wurden, indem sie in den Sichtbereich gescrollt werden
Trainiert mit menschlichen Trajektorien von WebChain und DAgger auf webgym
Apache-2.0-Lizenz für den Modellcode
Erste Schritte mit cklxx/laya-browser
Modellzugriff: Laden Sie das cklxx/laya-browser-Modell von Hugging Face herunter.
Umgebung einrichten: Stellen Sie sicher, dass die Bibliotheken `torch` und `transformers` in Ihrer Python-Umgebung installiert sind.
Integration über API: Verwenden Sie die Funktion `decide`, um Anfragen im trainierten Format des Modells zu erstellen und einen Vorwärtsdurchlauf auszuführen.
Als Ersatz nutzen: Implementieren Sie `m.systemone(body)`, um `jev-ultrafast /v1/systemone`-Anfragen zu beantworten.
Mit Laya-Paket laden: Alternativ können Sie das Modell mit `laya.load("cklxx/laya-browser")` über das upstream `laya`-Paket laden.
Harness-Verbesserungen anwenden: Wenden Sie den `code/jev-ultrafast.patch` auf `jev-ultrafast` an, um die Evaluierung und das Training zu verbessern.
Latenz optimieren: Sperren Sie optional den minimalen SM-Takt der GPU mit `sudo nvidia-smi -lgc 2100,3135`, um die Entscheidungs-Latenz zu reduzieren.
cklxx/laya-browser's Anwendungsfälle
- Automatisierte Browser-Navigation
- Web-Datenextraktion
- Automatisierung der Formularausfüllung
- Website-Tests
- Agentenbasierte Web-Interaktion
- Forschung Daten Sammlung
- Wiederholende Online-Aufgaben






