설명
cklxx/laya-browser 모델은 3억 개의 매개변수를 자랑하는 전문 기능 추출 모델로, 브라우저 에이전트 결정 헤드로 작동하도록 설계되었습니다. 이는 비자기회귀 «System 1» 결정 모델로 작동하는 `laya` 모델(convaiinnovations/laya)의 미세 조정 버전입니다. 전통적인 자기회귀 모델과 달리, `laya`는 여러 유형의 질문(선택, 점수, noul)에 대해 텍스트를 생성하지 않고 보정된 확률로 답변하기 위해 단일 양방향 인코더 패스를 사용합니다.
더 읽기
이 특정 리포지토리는 브라우저 자동화 작업을 위해 `laya`를 특별히 미세 조정하여 `browser-use/jev-ultrafast`의 드롭인 대체 역할을 합니다. 이는 `laya`의 `predict(state, questions)` 기능을 반영하는 `/v1/systemone` 요청을 처리합니다. 매 단계에서 모델은 적절한 작업(CLICK, TYPE_TEXT, SELECT, PRESS_ENTER, SCROLL 또는 DONE)과 웹페이지에서의 해당 대상 요소를 선택하기 위해 약 22밀리초의 전체 GPU 클록에서 하나의 전방 패스를 수행합니다.
모델은 RTX 4070 Ti SUPER(16 GB)에서 로컬로 훈련 및 평가되었으며, 유료 API에 의존하지 않았습니다. 텍스트 입력 및 드롭다운 값 선택을 위해 로컬 Qwen3-8B-AWQ 모델과 통합됩니다. 현재 버전인 v19s는 리포지토리 루트에서 사용할 수 있으며, 이전 체크포인트는 커밋 기록에서 접근할 수 있습니다. 새로운 버전이 명확한 개선을 보여줄 때만 업데이트가 출시됩니다.
평가 결과는 다양한 테스트 스위트에서의 성능을 강조합니다. 27개의 다단계 작업이 포함된 스위트 C는 v19s가 약 20–26%의 성공률을 달성했으며, 이는 v17s의 2/54에서 상당한 개선을 나타냅니다. 18개의 보류된 사이트에서 18개의 작업을 포함하는 스위트 B는 v17s와 v19s 모두 54/54의 완벽한 점수를 유지합니다. 16개의 원래 실제 사이트 작업으로 구성된 스위트 A에서 v19s는 39/48의 점수를 기록했습니다. 웹짐에서 보류된 합성 양식(7종 × 10)에 대해 v19s는 30/70을 달성하여 v17s의 15/70을 두 배로 늘렸습니다. 이 모델은 클릭 작업 및 목표 상위 1 정확도에 대한 보류된 결정에서 강력한 성능을 보여줍니다.
단일 결정의 대기 시간은 일반적으로 RTX 4070 Ti SUPER에서 전체 클록에서 22–27밀리초입니다. 그러나 GPU가 결정 간 대기 중에 유휴 클록으로 떨어지면(페이지 로드를 기다리는 경우) 이후 결정은 75–270밀리초가 걸릴 수 있습니다. 사용자는 이를 완화하기 위해 최소 SM 클록을 잠글 수 있습니다. 이 모델은 `transformers` 및 `torch`를 사용하여 통합되며, 자체 코드를 제공합니다. 또한 상위 `laya` 패키지를 통해 로드할 수 있습니다. v17s 이후의 주요 변경 사항에는 탐색 완료 대기, 반복 작업 방지를 위한 «undo guard», 양식 필드 데이터 처리 개선 및 보기로 스크롤 옵션이 포함됩니다. 훈련 데이터는 또한 웹짐에서 WebChain 인간 궤적 및 DAgger로 확장되었습니다. 현재의 한계에는 다단계 작업에서 너무 일찍 중지하는 문제와 많은 스크롤이 필요한 페이지 또는 헤드리스 Chromium을 차단하는 사이트와의 문제 등이 포함됩니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈소스
- 배포클라우드
- 플랫폼웹
cklxx/laya-browser 하이라이트
브라우저 자동화를 위한 비자기회귀 결정 모델
유형 질문을 위한 단일 양방향 인코더 패스
선택, 점수 및 noul 답변을 위한 보정된 확률
browser-use/jev-ultrafast의 드롭인 대체
브라우저 작업 선택(CLICK, TYPE_TEXT, SELECT, PRESS_ENTER, SCROLL, DONE)
작업을 위한 대상 요소 식별
전체 GPU 클록에서 약 22밀리초의 빠른 결정 대기 시간
RTX 4070 Ti SUPER에서 로컬로 훈련 및 평가됨
텍스트 입력 및 드롭다운 값에 대해 로컬 Qwen3-8B-AWQ와 통합됨
실제 웹사이트에서 다단계 작업 지원
반복 작업 방지를 위한 «undo guard» 포함
양식 필드 자리 표시자, 유형 및 패턴 처리 개선
보기에서 스크롤하여 옵션 제공
WebChain 인간 궤적 및 웹짐에서 DAgger로 훈련됨
모델 코드에 대한 Apache-2.0 라이센스
cklxx/laya-browser 시작하기
모델 접근: Hugging Face에서 cklxx/laya-browser 모델을 다운로드합니다.
환경 설정: Python 환경에 `torch` 및 `transformers` 라이브러리가 설치되어 있는지 확인합니다.
API를 통한 통합: `decide` 함수를 사용하여 모델의 훈련된 형식으로 요청을 작성하고 전방 패스를 실행합니다.
대체로 사용: `m.systemone(body)`를 구현하여 `jev-ultrafast /v1/systemone` 요청에 응답합니다.
Laya 패키지로 로드: 또는 상위 `laya` 패키지를 사용하여 `laya.load("cklxx/laya-browser")`로 모델을 로드합니다.
하네스 개선 적용: `jev-ultrafast`에 `code/jev-ultrafast.patch`를 적용하여 평가 및 훈련 설정을 개선합니다.
대기 시간 최적화: 선택적으로 `sudo nvidia-smi -lgc 2100,3135`를 사용하여 GPU의 최소 SM 클록을 잠궈 결정 대기 시간을 줄입니다.
cklxx/laya-browser의 사용 사례
- 자동화된 브라우저 탐색
- 웹 데이터 추출
- 양식 작성 자동화
- 웹사이트 테스트
- 에이전트 기반 웹 상호작용
- 연구 데이터 수집
- 반복적인 온라인 작업






