Deskripsi
Model cklxx/laya-browser adalah model ekstraksi fitur khusus, dengan 0,3 miliar parameter, dirancang untuk berfungsi sebagai kepala keputusan agen browser. Ini adalah versi yang disesuaikan dari model `laya` (convaiinnovations/laya), yang beroperasi sebagai model keputusan "Sistem 1" non-autoregressive. Berbeda dengan model autoregressive tradisional, `laya` menggunakan satu kali proses pengkodean bidirectional untuk menjawab beberapa pertanyaan yang diketik (pilihan, skor, noul) dengan probabilitas yang terkalibrasi, tanpa menghasilkan teks.
Baca Selengkapnya
Repositori ini secara khusus menyempurnakan `laya` untuk tugas otomatisasi browser, berfungsi sebagai pengganti langsung untuk `browser-use/jev-ultrafast`. Ini memproses permintaan `/v1/systemone`, yang mencerminkan fungsi `predict(state, questions)` dari `laya`. Dalam setiap langkah, model melakukan satu kali proses maju, memakan waktu sekitar 22 milidetik pada clock GPU penuh, untuk memilih operasi yang sesuai (seperti KLIK, KETIK_TEKST, PILIH, TEKAN_ENTER, GULIR, atau SELESAI) dan elemen target yang sesuai di halaman web.
Model ini dilatih dan dievaluasi secara lokal pada RTX 4070 Ti SUPER (16 GB) tanpa bergantung pada API berbayar. Untuk input teks dan pemilihan nilai dropdown, ia terintegrasi dengan model lokal Qwen3-8B-AWQ. Versi saat ini, v19s, tersedia di root repositori, dengan checkpoint sebelumnya dapat diakses dalam riwayat komit. Pembaruan hanya dirilis ketika versi baru menunjukkan perbaikan yang jelas.
Hasil evaluasi menyoroti kinerjanya di berbagai suite. Suite C, yang melibatkan 27 tugas multi-langkah di situs nyata yang ditahan (termasuk pencarian, filter, urutkan, dan operasi buka), menunjukkan v19s mencapai sekitar 20–26% keberhasilan, peningkatan signifikan dari 2/54 v17s. Suite B, dengan 18 tugas di 18 situs yang ditahan, mempertahankan skor sempurna 54/54 untuk baik v17s maupun v19s. Di Suite A, yang terdiri dari 16 tugas situs nyata asli, v19s mencetak 39/48. Untuk bentuk sintetis yang ditahan webgym (7 jenis × 10), v19s mencapai 30/70, menggandakan 15/70 v17s. Model ini juga menunjukkan kinerja yang kuat dalam keputusan yang ditahan di situs yang tidak terlihat (WebChain) untuk operasi klik dan akurasi target top-1.
Latensi untuk satu keputusan biasanya 22–27 ms pada RTX 4070 Ti SUPER pada clock penuh. Namun, jika GPU turun ke clock idle antara keputusan (karena menunggu halaman dimuat), keputusan berikutnya dapat memakan waktu 75–270 ms. Pengguna dapat mengunci clock SM minimum untuk mengurangi ini. Model ini terintegrasi menggunakan `transformers` dan `torch`, mengirimkan kodenya sendiri. Ini juga dapat dimuat melalui paket `laya` hulu. Perubahan kunci sejak v17s termasuk perbaikan harness, seperti menunggu navigasi selesai, "undo guard" untuk mencegah tindakan berulang, penanganan yang lebih baik terhadap data bidang formulir, dan opsi menggulir ke tampilan. Data pelatihan juga diperluas dengan trajektori manusia WebChain dan DAgger di webgym. Keterbatasan saat ini termasuk berhenti terlalu awal dalam tugas multi-langkah dan masalah dengan halaman yang memerlukan pengguliran ekstensif atau situs yang memblokir Chromium tanpa kepala.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan cklxx/laya-browser
Model keputusan non-autoregressive untuk otomatisasi browser
Satu kali proses pengkodean bidirectional untuk pertanyaan yang diketik
Probabilitas terkalibrasi untuk pilihan, skor, dan jawaban noul
Pengganti langsung untuk browser-use/jev-ultrafast
Memilih operasi browser (KLIK, KETIK_TEKST, PILIH, TEKAN_ENTER, GULIR, SELESAI)
Mengidentifikasi elemen target untuk operasi
Latensi keputusan cepat sekitar 22 ms pada clock GPU penuh
Dilatih dan dievaluasi secara lokal pada RTX 4070 Ti SUPER
Terintegrasi dengan Qwen3-8B-AWQ lokal untuk input teks dan nilai dropdown
Mendukung tugas multi-langkah di situs web dunia nyata
Termasuk "undo guard" untuk mencegah tindakan berulang
Penanganan yang lebih baik terhadap placeholder, jenis, dan pola bidang formulir
Menawarkan opsi yang digulir keluar dari tampilan dengan menggulirnya ke tampilan
Dilatih dengan trajektori manusia WebChain dan DAgger di webgym
Lisensi Apache-2.0 untuk kode model
Memulai dengan cklxx/laya-browser
Akses Model: Unduh model cklxx/laya-browser dari Hugging Face.
Siapkan Lingkungan: Pastikan pustaka `torch` dan `transformers` terinstal di lingkungan Python Anda.
Integrasi melalui API: Gunakan fungsi `decide` untuk membangun permintaan dalam format terlatih model dan jalankan proses maju.
Gunakan sebagai Pengganti: Terapkan `m.systemone(body)` untuk menjawab permintaan `jev-ultrafast /v1/systemone`.
Muat dengan Paket Laya: Sebagai alternatif, muat model menggunakan `laya.load("cklxx/laya-browser")` dengan paket `laya` hulu.
Terapkan Perbaikan Harness: Terapkan `code/jev-ultrafast.patch` ke `jev-ultrafast` untuk perbaikan evaluasi dan pengaturan pelatihan.
Optimalkan Latensi: Opsional, kunci clock SM minimum GPU menggunakan `sudo nvidia-smi -lgc 2100,3135` untuk mengurangi latensi keputusan.
Kasus Penggunaan cklxx/laya-browser
- Navigasi Browser Otomatis
- Ekstraksi Data Web
- Otomatisasi Pengisian Formulir
- Pengujian Situs Web
- Interaksi Web Berbasis Agen
- Pengumpulan Data Penelitian
- Tugas Online Berulang






