描述
UI SDK 提供了一个基础行为库,旨在赋能 AI 代理构建和利用下一代用户界面。代理不再从头开始创建组件,而是提供基本的交互组件,例如 `createPopup` 用于弹出窗口,`createSelection` 用于列表选择,以及 `createTypeahead` 用于通过输入查找选项。这种模块化的方法使代理能够构建各种组件,从简单的选择框到复杂的自动完成、组合框,甚至是尚未构思的新界面元素。
阅读更多
这些行为封装了用户界面交互的复杂细节,包括键盘导航、焦点管理、选择逻辑、弹出窗口处理、拖放功能和屏幕阅读器支持。SDK 提供了超过 50 种此类行为,包括 `createRovingFocus` 用于单标签停止导航,`createTypeahead` 用于快速项目跳转,`createPopup` 用于上下文覆盖,`createSelection` 用于多项选择,`createReorder` 用于列表排序,`createResize` 用于可调整大小的框,`createViewport` 用于平移和缩放,以及 `createVirtualizer` 用于高效渲染大型列表。
开发人员并不直接使用这些行为来构建组件;相反,他们指导他们的 AI 代理。代理经过训练,能够在开发人员选择的框架(如 React、Vue、Svelte、Solid 或 Web Components)中选择和组合所需的行为。UI SDK 还包括一个组件库,以快速启动开发,所有组件均由这些相同的行为构建,确保跨框架兼容性。
此外,UI SDK 增强了代理的能力,超越了组件创建。配备 UI SDK 技能的代理可以读取页面元素并直接与控件交互,而无需依赖视觉截图。这种直接交互方法显著提高了效率,使代理的速度提高了两倍以上,并将运营成本降低了一半以上,正如在各种框架和组件库中的基准测试所示。SDK 提供了一个代理桥,允许代理直接访问组件状态并调用操作,从而实现应用程序内任务的精确和高效自动化。
- 类别编程与开发
- 定价模式开源
- 部署云端
- 平台网页版
UI SDK的核心功能
可重用 UI 行为库
代理从行为构建组件
支持 React、Vue、Svelte、Solid、Web Components
键盘导航行为
焦点管理行为
选择行为(单选/多选)
弹出窗口和覆盖行为
拖放行为
屏幕阅读器支持行为
自动完成功能
列表重新排序能力
可调整大小的元素
视口平移和缩放
大型列表的虚拟化
代理桥用于直接 UI 交互
降低代理运营成本
如何使用 UI SDK?
添加 UI SDK 技能:将 UI SDK 技能集成到您的 AI 代理中,使其能够理解和利用行为。
提示您的代理:要求您的代理构建特定组件,例如 "为我构建一个分配队友到任务的选择器。"
代理组合行为:代理将选择并组合相关行为(例如,createPopup、createListbox、createSelection)以构建组件。
接收组件代码:代理在您选择的框架(React、Vue、Svelte、Solid 或 Web Components)中生成组件代码。
将代理连接到 UI:在您的应用程序中实现代理桥,以允许代理读取组件状态并直接调用操作。
自动化任务:指示您的代理与构建的组件交互,例如填写表单或更改设置,利用其增强的能力。
UI SDK的使用案例
- 自动化 UI 生成
- 跨框架组件开发
- 高效的 UI 自动化
- 快速原型设计
- 以无障碍为首的 UI
- 自定义组件创建
- 开发人员生产力





