Описание
Cactus Runtime — это универсальный движок, предназначенный для локального выполнения текстовых, речевых и визуальных моделей на различных операционных системах и в разных средах. Он предлагает предварительно собранные бинарные файлы для конкретных моделей, таких как Needle 3, Whistle и Mirage, позволяя разработчикам интегрировать мощные возможности ИИ непосредственно в свои приложения.
Читать далее
Основная функция Cactus заключается в предоставлении единого движка, который может обрабатывать разнообразные задачи ИИ. Веса моделей хранятся в отдельных репозиториях, что обеспечивает гибкость и модульность. Для разработчиков на Python интеграция проста: достаточно импортировать `cactus`, и пакет автоматически загрузит соответствующий движок и веса моделей при первом использовании. Доступен обширный Python API и исходный код для детальной реализации.
Cactus поддерживает обширный список платформ, что делает его высоко адаптируемым для различных сценариев развертывания. К ним относятся macOS Apple Silicon, различные дистрибутивы Linux (x86-64, ARM64, ARMv7, RISC-V, MIPS32el), Windows (x64, ARM64), Android (ARM64, ARMv7, RISC-V), iOS (ARM64, Simulator ARM64), tvOS ARM64, watchOS ARM64 и даже браузерные и Node.js среды через WebAssembly (WASM). Эта широкая совместимость гарантирует, что разработчики могут развертывать свои модели ИИ на почти любом целевом устройстве или системе.
Для нативной интеграции разработчики могут загрузить конкретные раннеры для своей выбранной платформы. Эти раннеры предназначены для загрузки весов `.cact` во время выполнения. Статические библиотеки, включая `cactus.h`, предоставляются для приложений на C и C++, что облегчает глубокую интеграцию в существующие нативные кодовые базы. Python runtime wheels дополнительно расширяют эту поддержку, охватывая общие архитектуры настольных и серверных систем.
Cactus также предлагает компонент WASI, экспортируя `cactus:runtime/[email protected]`, и доступен как подписанный артефакт OCI. Это позволяет развертывать его в средах WebAssembly System Interface, расширяя его применение для безсерверных функций и других современных облачных приложений. Проект акцентирует внимание на воспроизводимых загрузках, предоставляя контрольные суммы SHA-256 и конкретные теги ревизий для артефактов релиза. Доступно подробное руководство по развертыванию, чтобы помочь с нативной интеграцией, использованием в браузере и оффлайн настройкой.
- КатегорияMLOps и развёртывание моделей
- Модель ценообразованияОткрытый код
- РазвёртываниеРаботает локально, Облако
- ПлатформыmacOS, Linux, Windows
Главное о Cactus Runtime
Локальное выполнение текстовых, речевых и визуальных моделей
Предварительно собранные бинарные файлы для Needle 3, Whistle и Mirage
Python API для легкой интеграции
Автоматическая загрузка движка и весов моделей при первом использовании (Python)
Поддержка macOS Apple Silicon
Поддержка Linux x86-64, ARM64, ARMv7, RISC-V, MIPS32el
Поддержка Windows x64 и ARM64
Поддержка Android ARM64, ARMv7, RISC-V
Поддержка iOS ARM64, iOS Simulator ARM64
Поддержка tvOS ARM64 и watchOS ARM64
Поддержка WebAssembly (WASM) для браузеров и Node.js
Компонент WASI для сред WebAssembly System Interface
Статические библиотеки (libcactus.a, cactus.h) для приложений на C/C++
Веса моделей управляются в отдельных репозиториях
Контрольные суммы SHA-256 для воспроизводимых загрузок
Начало работы с Cactus Runtime
Установите пакет Python: используйте `import cactus` в Python для автоматической загрузки движка и весов моделей.
Скачайте нативный раннер: выберите платформу из списка поддерживаемых и скачайте соответствующие бинарные файлы.
Укажите модель: используйте `--model needle3` или `--model mirage` при запуске нативных раннеров для выбора конкретной модели.
Интеграция с C/C++: включите `cactus.h` и свяжите `libcactus.a` в ваших приложениях на C/C++.
Развертывание с помощью WASI: используйте компонент WASI `cactus:runtime/[email protected]` или артефакт OCI для сред WASI.
Доступ к Python API: обратитесь к документации Python API для подробного использования и примеров исходного кода.
Варианты использования Cactus Runtime
- Локальное выполнение ИИ моделей
- Кроссплатформенная разработка ИИ
- Встраиваемые ИИ системы
- Веб-приложения ИИ
- Нативная интеграция приложений
- Разработка ИИ на Python
- Оффлайн обработка ИИ








