説明
cklxx/laya-browserモデルは、0.3億のパラメータを持つ専門的な特徴抽出モデルで、ブラウザエージェントの意思決定ヘッドとして機能するように設計されています。これは、非自己回帰型の「システム1」意思決定モデルとして動作する`laya`モデル(convaiinnovations/laya)の微調整版です。従来の自己回帰モデルとは異なり、`laya`は単一の双方向エンコーダーパスを使用して、テキストを生成することなく、キャリブレーションされた確率で複数のタイプの質問(選択、スコア、noul)に回答します。
続きを読む
この特定のリポジトリは、ブラウザ自動化タスク向けに特に`laya`を微調整しており、`browser-use/jev-ultrafast`の代替として機能します。`/v1/systemone`リクエストを処理し、これは`laya`の`predict(state, questions)`関数を反映しています。各ステップで、モデルは1回のフォワードパスを実行し、フルGPUクロックで約22ミリ秒かかり、適切な操作(CLICK、TYPE_TEXT、SELECT、PRESS_ENTER、SCROLL、DONEなど)とその対応するターゲット要素をウェブページ上で選択します。
モデルは、RTX 4070 Ti SUPER(16 GB)上でローカルにトレーニングおよび評価され、商用APIには依存していません。テキスト入力とドロップダウン値の選択には、ローカルのQwen3-8B-AWQモデルと統合されています。現在のバージョンv19sはリポジトリのルートにあり、以前のチェックポイントはコミット履歴でアクセス可能です。新しいバージョンが明確な改善を示す場合にのみ、更新がリリースされます。
評価結果は、さまざまなスイートにおけるパフォーマンスを強調しています。スイートCでは、27の多段階タスクが保持された実サイトで行われ(検索、フィルター、ソート、オープン操作を含む)、v19sは約20〜26%の成功率を達成し、v17sの2/54から大幅に改善されました。スイートBでは、18のタスクが18の保持されたサイトで行われ、v17sとv19sの両方で完璧な54/54のスコアを維持しています。スイートAでは、16の元の実サイトタスクでv19sが39/48のスコアを獲得しました。webgymの保持された合成フォーム(7種類×10)では、v19sが30/70を達成し、v17sの15/70を倍増させました。モデルは、クリック操作とターゲットのトップ1精度に関して、見えないサイト(WebChain)での保持された意思決定においても強力なパフォーマンスを示しています。
単一の意思決定のレイテンシは、通常、RTX 4070 Ti SUPERのフルクロックで22〜27ミリ秒です。ただし、GPUが意思決定間でアイドルクロックに落ちると(ページの読み込みを待っているため)、その後の意思決定には75〜270ミリ秒かかることがあります。ユーザーは、最小SMクロックをロックしてこれを軽減できます。モデルは`transformers`と`torch`を使用して統合され、自身のコードを出荷します。また、上流の`laya`パッケージを介してもロードできます。v17s以降の主な変更には、ナビゲーションの完了を待つためのハーネスの改善、「アンドゥガード」による繰り返しアクションの防止、フォームフィールドデータのより良い処理、ビューにスクロールするオプションが含まれています。トレーニングデータは、WebChainの人間の軌跡とwebgymでのDAggerで拡張されました。現在の制限には、多段階タスクでの早すぎる停止や、広範なスクロールを必要とするページやヘッドレスChromiumをブロックするサイトに関する問題が含まれます。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームWeb
cklxx/laya-browserのハイライト
ブラウザ自動化のための非自己回帰型意思決定モデル
タイプされた質問に対する単一の双方向エンコーダーパス
選択、スコア、noulの回答に対するキャリブレーションされた確率
browser-use/jev-ultrafastの代替
ブラウザ操作(CLICK、TYPE_TEXT、SELECT、PRESS_ENTER、SCROLL、DONE)を選択
操作のためのターゲット要素を特定
フルGPUクロックでの約22ミリ秒の迅速な意思決定レイテンシ
RTX 4070 Ti SUPERでローカルにトレーニングおよび評価
テキスト入力とドロップダウン値のためにローカルのQwen3-8B-AWQと統合
実世界のウェブサイトでの多段階タスクをサポート
繰り返しアクションを防ぐための「アンドゥガード」を含む
フォームフィールドのプレースホルダー、タイプ、パターンの処理が改善
ビューから外れたオプションをビューにスクロールして提供
WebChainの人間の軌跡とwebgymでのDAggerでトレーニング
モデルコードのApache-2.0ライセンス
cklxx/laya-browserをはじめる
モデルにアクセス: Hugging Faceからcklxx/laya-browserモデルをダウンロードします。
環境を設定: Python環境に`torch`と`transformers`ライブラリがインストールされていることを確認します。
API経由で統合: `decide`関数を使用して、モデルのトレーニングされた形式でリクエストを構築し、フォワードパスを実行します。
代替として利用: `m.systemone(body)`を実装して、`jev-ultrafast /v1/systemone`リクエストに回答します。
Layaパッケージでロード: 代わりに、上流の`laya`パッケージを使用して`laya.load("cklxx/laya-browser")`でモデルをロードします。
ハーネスの改善を適用: `jev-ultrafast`に`code/jev-ultrafast.patch`を適用して、評価とトレーニングのセットアップを改善します。
レイテンシを最適化: オプションで、`sudo nvidia-smi -lgc 2100,3135`を使用してGPUの最小SMクロックをロックし、意思決定のレイテンシを減少させます。
cklxx/laya-browserの使用例
- 自動ブラウザナビゲーション
- ウェブデータ抽出
- フォーム入力の自動化
- ウェブサイトテスト
- エージェントベースのウェブインタラクション
- 研究データ収集
- 繰り返しオンラインタスク






