描述
cklxx/laya-browser 模型是一个专门的特征提取模型,拥有 3 亿个参数,旨在作为浏览器代理决策头。它是 `laya` 模型(convaiinnovations/laya)的微调版本,作为非自回归的「系统 1」决策模型运行。与传统的自回归模型不同,`laya` 使用单个双向编码器传递以校准概率回答多个类型的问题(选择、评分、noul),而不生成文本。
阅读更多
这个特定的代码库专门针对浏览器自动化任务微调 `laya`,作为 `browser-use/jev-ultrafast` 的替代方案。它处理 `/v1/systemone` 请求,这些请求与 `laya` 的 `predict(state, questions)` 函数相对应。在每一步中,该模型执行一次前向传递,在完整 GPU 时钟下大约需要 22 毫秒,以选择适当的操作(如点击、输入文本、选择、按回车、滚动或完成)及其对应的网页目标元素。
该模型在 RTX 4070 Ti SUPER(16 GB)上本地训练和评估,而不依赖于付费 API。对于文本输入和下拉值选择,它与本地 Qwen3-8B-AWQ 模型集成。当前版本 v19s 可在代码库根目录获取,早期检查点可在提交历史中访问。仅在新版本显示出明显改进时才会发布更新。
评估结果突显了它在各种测试套件中的表现。C 套件涉及 27 个多步骤任务,在保留的真实网站上(包括搜索、过滤、排序和打开操作),显示 v19s 的成功率约为 20–26%,相比 v17s 的 2/54 有显著改善。B 套件在 18 个保留网站上进行 18 个任务,v17s 和 v19s 均保持完美的 54/54 分数。在 A 套件中,由 16 个原始真实网站任务组成,v19s 得分为 39/48。对于 webgym 保留的合成表单(7 种 × 10),v19s 达到 30/70,几乎是 v17s 的 15/70 的两倍。该模型在未见网站(WebChain)上的点击操作和目标 top-1 准确性方面也表现出色。
单次决策的延迟通常在 RTX 4070 Ti SUPER 的完整时钟下为 22–27 毫秒。然而,如果 GPU 在决策之间降至空闲时钟(由于等待页面加载),后续决策可能需要 75–270 毫秒。用户可以锁定最小 SM 时钟以减轻此问题。该模型使用 `transformers` 和 `torch` 集成,提供自己的代码。它也可以通过上游的 `laya` 包加载。自 v17s 以来的主要变化包括改进的工具,如等待导航完成的「撤销保护」,以防止重复操作,更好地处理表单字段数据,以及将选项滚动到视图中。训练数据还扩展了 WebChain 人类轨迹和 webgym 上的 DAgger。目前的限制包括在多步骤任务中过早停止,以及处理需要大量滚动或阻止无头 Chromium 的网站时出现的问题。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台网页版
cklxx/laya-browser亮点
用于浏览器自动化的非自回归决策模型
针对输入问题的单个双向编码器传递
选择、评分和 noul 答案的校准概率
作为 browser-use/jev-ultrafast 的替代方案
选择浏览器操作(点击、输入文本、选择、按回车、滚动、完成)
识别操作的目标元素
在完整 GPU 时钟下快速决策延迟约为 22 毫秒
在 RTX 4070 Ti SUPER 上本地训练和评估
与本地 Qwen3-8B-AWQ 集成以进行文本输入和下拉值选择
支持真实网站上的多步骤任务
包括「撤销保护」以防止重复操作
改进了对表单字段占位符、类型和模式的处理
提供通过滚动将视图外的选项滚动到视图中的选项
使用 WebChain 人类轨迹和 webgym 上的 DAgger 进行训练
模型代码采用 Apache-2.0 许可证
cklxx/laya-browser入门
访问模型:从 Hugging Face 下载 cklxx/laya-browser 模型。
设置环境:确保在您的 Python 环境中安装了 `torch` 和 `transformers` 库。
通过 API 集成:使用 `decide` 函数构建模型训练格式的请求并运行前向传递。
作为替代方案使用:实现 `m.systemone(body)` 以回答 `jev-ultrafast /v1/systemone` 请求。
使用 Laya 包加载:或者,使用上游的 `laya` 包通过 `laya.load("cklxx/laya-browser")` 加载模型。
应用工具改进:将 `code/jev-ultrafast.patch` 应用到 `jev-ultrafast` 以改善评估和训练设置。
优化延迟:可选地,使用 `sudo nvidia-smi -lgc 2100,3135` 锁定 GPU 的最小 SM 时钟以减少决策延迟。
cklxx/laya-browser的使用案例
- 自动化浏览器导航
- 网页数据提取
- 表单填写自动化
- 网站测试
- 基于代理的网页交互
- 研究数据收集
- 重复在线任务






