描述
Cactus Runtime 是一个多功能引擎,旨在跨各种操作系统和环境本地运行文本、语音和视觉模型。它为特定模型(如 Needle 3、Whistle 和 Mirage)提供预构建的运行时二进制文件,使开发者能够将强大的 AI 功能直接集成到他们的应用程序中。
阅读更多
Cactus 的核心功能是提供一个统一的引擎,能够处理多样的 AI 任务。模型权重存储在各自的库中,确保灵活性和模块化。对于 Python 开发者来说,集成非常简单:只需导入 `cactus`,该包将在首次使用时自动下载匹配的引擎和模型权重。提供了全面的 Python API 和源代码,以便进行详细的实现。
Cactus 支持广泛的平台列表,使其在不同的部署场景中高度适应。这些平台包括 macOS Apple Silicon、各种 Linux 发行版(x86-64、ARM64、ARMv7、RISC-V、MIPS32el)、Windows(x64、ARM64)、Android(ARM64、ARMv7、RISC-V)、iOS(ARM64、Simulator ARM64)、tvOS ARM64、watchOS ARM64,甚至通过 WebAssembly(WASM)支持浏览器和 Node.js 环境。这种广泛的兼容性确保开发者可以在几乎任何目标设备或系统上部署他们的 AI 模型。
对于本地集成,开发者可以为他们选择的平台下载特定的运行程序。这些运行程序旨在运行时加载 `.cact` 权重。提供了静态库,包括 `cactus.h`,以便于 C 和 C++ 应用程序的深度集成。Python 运行时轮进一步扩展了此支持,涵盖常见的桌面和服务器架构。
Cactus 还提供了一个 WASI 组件,导出 `cactus:runtime/[email protected]`,并作为签名的 OCI 工件提供。这允许在 WebAssembly 系统接口环境中进行部署,扩大其在无服务器功能和其他现代云原生应用中的应用。该项目强调可重复下载,提供 SHA-256 校验和和特定修订标签以供发布工件使用。提供了详细的部署指南,以协助本地集成、浏览器使用和离线设置。
- 类别MLOps 与模型部署
- 定价模式开源
- 部署本地运行, 云端
- 平台macOS, Linux, Windows
Cactus Runtime亮点
文本、语音和视觉模型的本地执行
为 Needle 3、Whistle 和 Mirage 提供预构建的运行时二进制文件
便于集成的 Python API
首次使用时自动下载引擎和模型权重(Python)
支持 macOS Apple Silicon
支持 Linux x86-64、ARM64、ARMv7、RISC-V、MIPS32el
支持 Windows x64 和 ARM64
支持 Android ARM64、ARMv7、RISC-V
支持 iOS ARM64、iOS Simulator ARM64
支持 tvOS ARM64 和 watchOS ARM64
WebAssembly(WASM)支持浏览器和 Node.js
WASI 组件用于 WebAssembly 系统接口环境
为 C/C++ 应用程序提供静态库(libcactus.a、cactus.h)
模型权重存储在单独的库中
提供可重复下载的 SHA-256 校验和
Cactus Runtime入门
安装 Python 包:在 Python 中使用 `import cactus` 自动下载引擎和模型权重。
下载本地运行程序:从支持列表中选择一个平台并下载相应的二进制文件。
指定模型:在运行本地运行程序时使用 `--model needle3` 或 `--model mirage` 选择特定模型。
与 C/C++ 集成:在您的 C/C++ 应用程序中包含 `cactus.h` 并链接 `libcactus.a`。
使用 WASI 部署:利用 WASI 组件 `cactus:runtime/[email protected]` 或 OCI 工件用于 WASI 环境。
访问 Python API:参考 Python API 文档以获取详细用法和源代码示例。
Cactus Runtime的使用案例
- 本地 AI 模型执行
- 跨平台 AI 开发
- 嵌入式 AI 系统
- 基于 Web 的 AI 应用程序
- 本地应用程序集成
- Python AI 开发
- 离线 AI 处理








