설명
Cactus Runtime는 다양한 운영 체제와 환경에서 텍스트, 음성 및 비전 모델을 로컬에서 실행하도록 설계된 다목적 엔진입니다. Needle 3, Whistle 및 Mirage와 같은 특정 모델을 위한 미리 빌드된 런타임 바이너리를 제공하여 개발자가 강력한 AI 기능을 애플리케이션에 직접 통합할 수 있도록 합니다.
더 읽기
Cactus의 핵심 기능은 다양한 AI 작업을 처리할 수 있는 통합 엔진을 제공하는 것입니다. 모델 가중치는 별도의 저장소에 저장되어 유연성과 모듈성을 보장합니다. Python 개발자는 통합이 간단합니다: `cactus`를 가져오기만 하면 패키지가 첫 사용 시 자동으로 일치하는 엔진과 모델 가중치를 다운로드합니다. 자세한 구현을 위한 포괄적인 Python API와 소스 코드도 제공됩니다.
Cactus는 광범위한 플랫폼 목록을 지원하여 다양한 배포 시나리오에 매우 적합합니다. 여기에는 macOS Apple Silicon, 다양한 Linux 배포판(x86-64, ARM64, ARMv7, RISC-V, MIPS32el), Windows(x64, ARM64), Android(ARM64, ARMv7, RISC-V), iOS(ARM64, 시뮬레이터 ARM64), tvOS ARM64, watchOS ARM64, 그리고 WebAssembly(WASM)를 통한 브라우저 및 Node.js 환경이 포함됩니다. 이러한 폭넓은 호환성은 개발자가 거의 모든 대상 장치나 시스템에 AI 모델을 배포할 수 있도록 보장합니다.
네이티브 통합을 위해 개발자는 선택한 플랫폼에 맞는 특정 러너를 다운로드할 수 있습니다. 이러한 러너는 런타임에 `.cact` 가중치를 로드하도록 설계되었습니다. C 및 C++ 애플리케이션을 위한 정적 라이브러리(`cactus.h` 포함)가 제공되어 기존 네이티브 코드베이스에 깊이 통합할 수 있습니다. Python 런타임 휠은 일반 데스크톱 및 서버 아키텍처를 포괄하여 이 지원을 더욱 확장합니다.
Cactus는 또한 WASI 구성 요소를 제공하며, `cactus:runtime/[email protected]`을 내보내고 서명된 OCI 아티팩트로 제공됩니다. 이를 통해 WebAssembly 시스템 인터페이스 환경에서 배포할 수 있어 서버리스 함수 및 기타 현대 클라우드 네이티브 애플리케이션으로의 범위를 확장합니다. 이 프로젝트는 재현 가능한 다운로드를 강조하며, SHA-256 체크섬과 특정 수정 태그를 제공하여 릴리스 아티팩트를 지원합니다. 네이티브 통합, 브라우저 사용 및 오프라인 설정을 지원하는 자세한 배포 가이드도 제공됩니다.
- 카테고리MLOps 및 모델 배포
- 요금제오픈소스
- 배포로컬 실행, 클라우드
- 플랫폼macOS, Linux, Windows
Cactus Runtime 하이라이트
텍스트, 음성 및 비전 모델의 로컬 실행
Needle 3, Whistle 및 Mirage를 위한 미리 빌드된 런타임 바이너리
쉬운 통합을 위한 Python API
첫 사용 시 자동 엔진 및 모델 가중치 다운로드 (Python)
macOS Apple Silicon 지원
Linux x86-64, ARM64, ARMv7, RISC-V, MIPS32el 지원
Windows x64 및 ARM64 지원
Android ARM64, ARMv7, RISC-V 지원
iOS ARM64, iOS 시뮬레이터 ARM64 지원
tvOS ARM64 및 watchOS ARM64 지원
브라우저 및 Node.js를 위한 WebAssembly (WASM) 지원
WebAssembly 시스템 인터페이스 환경을 위한 WASI 구성 요소
C/C++ 애플리케이션을 위한 정적 라이브러리 (libcactus.a, cactus.h)
별도의 저장소에서 관리되는 모델 가중치
재현 가능한 다운로드를 위한 SHA-256 체크섬
Cactus Runtime 시작하기
Python 패키지 설치: Python에서 `import cactus`를 사용하여 엔진 및 모델 가중치를 자동으로 다운로드합니다.
네이티브 러너 다운로드: 지원 목록에서 플랫폼을 선택하고 해당 바이너리를 다운로드합니다.
모델 지정: 네이티브 러너를 실행할 때 `--model needle3` 또는 `--model mirage`를 사용하여 특정 모델을 선택합니다.
C/C++와 통합: C/C++ 애플리케이션에 `cactus.h`를 포함하고 `libcactus.a`를 링크합니다.
WASI로 배포: WASI 환경을 위해 `cactus:runtime/[email protected]` 또는 OCI 아티팩트를 활용합니다.
Python API 접근: 자세한 사용법 및 소스 코드 예제를 위해 Python API 문서를 참조합니다.
Cactus Runtime의 사용 사례
- 로컬 AI 모델 실행
- 크로스 플랫폼 AI 개발
- 임베디드 AI 시스템
- 웹 기반 AI 애플리케이션
- 네이티브 애플리케이션 통합
- Python AI 개발
- 오프라인 AI 처리








