跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

Cactus Runtime

大语言模型#82MLOps 与模型部署开源 · macOS, Linux, Windows

Cactus Runtime 提供 Needle 3、Whistle 和 Mirage 模型的预构建二进制文件,支持文本、语音和视觉任务的本地执行。它支持包括 macOS、Linux、Windows、Android、iOS、tvOS、watchOS 和 Web 环境在内的广泛平台。开发者可以通过 Python API 或本地运行程序进行集成,模型权重单独管理。

访问URL
分享
Cactus Runtime 截图
Cactus Runtime 截图

Cactus Runtime 是一个多功能引擎,旨在跨各种操作系统和环境本地运行文本、语音和视觉模型。它为特定模型(如 Needle 3、Whistle 和 Mirage)提供预构建的运行时二进制文件,使开发者能够将强大的 AI 功能直接集成到他们的应用程序中。

阅读更多

Cactus 的核心功能是提供一个统一的引擎,能够处理多样的 AI 任务。模型权重存储在各自的库中,确保灵活性和模块化。对于 Python 开发者来说,集成非常简单:只需导入 `cactus`,该包将在首次使用时自动下载匹配的引擎和模型权重。提供了全面的 Python API 和源代码,以便进行详细的实现。

Cactus 支持广泛的平台列表,使其在不同的部署场景中高度适应。这些平台包括 macOS Apple Silicon、各种 Linux 发行版(x86-64、ARM64、ARMv7、RISC-V、MIPS32el)、Windows(x64、ARM64)、Android(ARM64、ARMv7、RISC-V)、iOS(ARM64、Simulator ARM64)、tvOS ARM64、watchOS ARM64,甚至通过 WebAssembly(WASM)支持浏览器和 Node.js 环境。这种广泛的兼容性确保开发者可以在几乎任何目标设备或系统上部署他们的 AI 模型。

对于本地集成,开发者可以为他们选择的平台下载特定的运行程序。这些运行程序旨在运行时加载 `.cact` 权重。提供了静态库,包括 `cactus.h`,以便于 C 和 C++ 应用程序的深度集成。Python 运行时轮进一步扩展了此支持,涵盖常见的桌面和服务器架构。

Cactus 还提供了一个 WASI 组件,导出 `cactus:runtime/[email protected]`,并作为签名的 OCI 工件提供。这允许在 WebAssembly 系统接口环境中进行部署,扩大其在无服务器功能和其他现代云原生应用中的应用。该项目强调可重复下载,提供 SHA-256 校验和和特定修订标签以供发布工件使用。提供了详细的部署指南,以协助本地集成、浏览器使用和离线设置。

  • 类别MLOps 与模型部署
  • 定价模式开源
  • 部署本地运行, 云端
  • 平台macOS, Linux, Windows

  • 文本、语音和视觉模型的本地执行

  • 为 Needle 3、Whistle 和 Mirage 提供预构建的运行时二进制文件

  • 便于集成的 Python API

  • 首次使用时自动下载引擎和模型权重(Python)

  • 支持 macOS Apple Silicon

  • 支持 Linux x86-64、ARM64、ARMv7、RISC-V、MIPS32el

  • 支持 Windows x64 和 ARM64

  • 支持 Android ARM64、ARMv7、RISC-V

  • 支持 iOS ARM64、iOS Simulator ARM64

  • 支持 tvOS ARM64 和 watchOS ARM64

  • WebAssembly(WASM)支持浏览器和 Node.js

  • WASI 组件用于 WebAssembly 系统接口环境

  • 为 C/C++ 应用程序提供静态库(libcactus.a、cactus.h)

  • 模型权重存储在单独的库中

  • 提供可重复下载的 SHA-256 校验和

  1. 安装 Python 包:在 Python 中使用 `import cactus` 自动下载引擎和模型权重。

  2. 下载本地运行程序:从支持列表中选择一个平台并下载相应的二进制文件。

  3. 指定模型:在运行本地运行程序时使用 `--model needle3` 或 `--model mirage` 选择特定模型。

  4. 与 C/C++ 集成:在您的 C/C++ 应用程序中包含 `cactus.h` 并链接 `libcactus.a`。

  5. 使用 WASI 部署:利用 WASI 组件 `cactus:runtime/[email protected]` 或 OCI 工件用于 WASI 环境。

  6. 访问 Python API:参考 Python API 文档以获取详细用法和源代码示例。

  • 本地 AI 模型执行
  • 跨平台 AI 开发
  • 嵌入式 AI 系统
  • 基于 Web 的 AI 应用程序
  • 本地应用程序集成
  • Python AI 开发
  • 离线 AI 处理

Cactus Compute 旗下产品

Cactus Compute 的一项功能。

Cactus Runtime 评价

加载中...

与 Cactus Runtime 类似的热门AI工具

Cactus Compute

AI GitHub 仓库

Cactus Compute是一个开源项目,专注于移动设备、可穿戴设备、智能家居系统和机器人中的量化、内核、运行时和推理引擎。它旨在优化各种平台上的AI性能。

机器学习平台

AI GitHub 仓库 排名第 182 位

查看工具

AI GitHub 仓库

开源项目,专注于移动设备、可穿戴设备、智能家居系统和机器人中的量化、内核、运行时和推理引擎。它旨在优化各种平台上的AI性能。Cactus Compute是一个开源项目,专注于移动设备、可穿戴设备、智能家居系统和机器人中的量化、内核、运行时和推理引擎。它旨在优化各种平台上的AI性能。

机器学习平台
AI GitHub 仓库 排名第 182 位

SGLang-Omni

AI GitHub 仓库

SGLang-Omni 是一个高性能的服务框架,专为文本到语音(TTS)和自动语音识别(ASR)等音频模型以及统一的多模态模型设计。它为高效部署和管理复杂的 AI 模型提供了强大的支持。

MLOps 与模型部署

AI 语音生成器 排名第 78 位

查看工具

AI GitHub 仓库

高性能的服务框架,专为文本到语音(TTS)和自动语音识别(ASR)等音频模型以及统一的多模态模型设计。它为高效部署和管理复杂的 AI 模型提供了强大的支持。SGLang-Omni 是一个高性能的服务框架,专为文本到语音(TTS)和自动语音识别(ASR)等音频模型以及统一的多模态模型设计。它为高效部署和管理复杂的 AI 模型提供了强大的支持。

MLOps 与模型部署
AI 语音生成器 排名第 78 位

Runware

AI 应用

Runware 是一个生成性 AI 推理平台,提供统一的 API 用于图像、视频、音频、3D、LLM 和视觉模型。它提供超过 40 万个模型,管理基础设施,并基于使用量定价,构建在自定义推理引擎之上。

MLOps 与模型部署
查看工具

AI 应用

生成性 AI 推理平台,提供统一的 API 用于图像、视频、音频、3D、LLM 和视觉模型。它提供超过 40 万个模型,管理基础设施,并基于使用量定价,构建在自定义推理引擎之上。Runware 是一个生成性 AI 推理平台,提供统一的 API 用于图像、视频、音频、3D、LLM 和视觉模型。它提供超过 40 万个模型,管理基础设施,并基于使用量定价,构建在自定义推理引擎之上。

MLOps 与模型部署
查看 AI 应用 Top 250

Replicate 提供了一个云 API,用于运行和微调开源机器学习模型。只需一行代码即可部署自定义模型。访问数千个面向生产的 AI 模型,用于图像生成、语音、音乐和视频创作。仅按使用的计算付费,并自动扩展。

MLOps 与模型部署
查看工具

提供了一个云 API,用于运行和微调开源机器学习模型。只需一行代码即可部署自定义模型。访问数千个面向生产的 AI 模型,用于图像生成、语音、音乐和视频创作。仅按使用的计算付费,并自动扩展。Replicate 提供了一个云 API,用于运行和微调开源机器学习模型。只需一行代码即可部署自定义模型。访问数千个面向生产的 AI 模型,用于图像生成、语音、音乐和视频创作。仅按使用的计算付费,并自动扩展。

精选MLOps 与模型部署
查看 AI 平台 Top 150

SiliconFlow

AI 平台

一个为开发者提供的AI基础设施平台,通过一个与OpenAI兼容的API,以按需付费的方式部署、微调和运行200多个优化的LLM和多模态模型。

MLOps 与模型部署
查看工具

AI 平台

一个为开发者提供的AI基础设施平台,通过一个与OpenAI兼容的API,以按需付费的方式部署、微调和运行200多个优化的LLM和多模态模型。

精选MLOps 与模型部署
查看 AI 平台 Top 150

Baseten

AI 平台

Baseten的推理平台使用户能够高效地部署和扩展开源及自定义AI模型。它提供高性能推理,配备专用基础设施、优化的API和无缝的开发者工作流程,确保快速部署和可靠的性能。

MLOps 与模型部署

AI 平台 排名第 72 位

查看工具

AI 平台

Baseten的推理平台使用户能够高效地部署和扩展开源及自定义AI模型。它提供高性能推理,配备专用基础设施、优化的API和无缝的开发者工作流程,确保快速部署和可靠的性能。

精选MLOps 与模型部署
AI 平台 排名第 72 位

SGLang

AI 框架

SGLang是一个为大型语言和多模态模型设计的高性能服务框架。它提供广泛的硬件支持和强大的生态系统,帮助开发者高效地实现先进的AI解决方案。

MLOps 与模型部署
查看工具

AI 框架

为大型语言和多模态模型设计的高性能服务框架。它提供广泛的硬件支持和强大的生态系统,帮助开发者高效地实现先进的AI解决方案。SGLang是一个为大型语言和多模态模型设计的高性能服务框架。它提供广泛的硬件支持和强大的生态系统,帮助开发者高效地实现先进的AI解决方案。

精选MLOps 与模型部署
查看 AI 框架 Top 50

TensorFold

AI GitHub 仓库

TensorFold 是一个开源的 LLM 推理引擎,旨在为各种硬件平台提供高性能计算。它支持 Metal、CUDA 和 Vulkan,为部署大型语言模型提供灵活的解决方案。该项目强调高效执行,并提供开发和部署工具,使其适合与先进 AI 模型合作的研究人员和开发人员。

MLOps 与模型部署
查看工具

AI GitHub 仓库

开源的 LLM 推理引擎,旨在为各种硬件平台提供高性能计算。它支持 Metal、CUDA 和 Vulkan,为部署大型语言模型提供灵活的解决方案。该项目强调高效执行,并提供开发和部署工具,使其适合与先进 AI 模型合作的研究人员和开发人员。TensorFold 是一个开源的 LLM 推理引擎,旨在为各种硬件平台提供高性能计算。它支持 Metal、CUDA 和 Vulkan,为部署大型语言模型提供灵活的解决方案。该项目强调高效执行,并提供开发和部署工具,使其适合与先进 AI 模型合作的研究人员和开发人员。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250
1/8