説明
Cactus Runtimeは、さまざまなオペレーティングシステムや環境でテキスト、音声、視覚モデルをローカルで実行するために設計された多用途のエンジンです。Needle 3、Whistle、Mirageなどの特定のモデル用に事前構築されたランタイムバイナリを提供し、開発者が強力なAI機能をアプリケーションに直接統合できるようにします。
続きを読む
Cactusのコア機能は、多様なAIタスクを処理できる統一エンジンを提供することです。モデルの重みはそれぞれのリポジトリに保存されており、柔軟性とモジュール性を確保しています。Python開発者にとって、統合は簡単です:`cactus`をインポートするだけで、パッケージは初回使用時に自動的に一致するエンジンとモデルの重みをダウンロードします。詳細な実装のために、包括的なPython APIとソースコードが利用可能です。
Cactusは、さまざまな展開シナリオに対応できるように、広範なプラットフォームリストをサポートしています。これには、macOS Apple Silicon、さまざまなLinuxディストリビューション(x86-64、ARM64、ARMv7、RISC-V、MIPS32el)、Windows(x64、ARM64)、Android(ARM64、ARMv7、RISC-V)、iOS(ARM64、Simulator ARM64)、tvOS ARM64、watchOS ARM64、さらにはWebAssembly(WASM)を介したブラウザおよびNode.js環境が含まれます。この広範な互換性により、開発者はほぼすべてのターゲットデバイスやシステムにAIモデルを展開できます。
ネイティブ統合のために、開発者は選択したプラットフォーム用の特定のランナーをダウンロードできます。これらのランナーは、ランタイムで`.cact`重みをロードするように設計されています。CおよびC++アプリケーション用の静的ライブラリ(`cactus.h`を含む)が提供されており、既存のネイティブコードベースへの深い統合を容易にします。Pythonランタイムホイールは、このサポートをさらに拡張し、一般的なデスクトップおよびサーバーアーキテクチャをカバーします。
Cactusはまた、`cactus:runtime/[email protected]`をエクスポートするWASIコンポーネントを提供し、署名されたOCIアーティファクトとして利用可能です。これにより、WebAssembly System Interface環境での展開が可能になり、サーバーレス関数や他の現代のクラウドネイティブアプリケーションへの利用が広がります。このプロジェクトは再現可能なダウンロードを強調しており、SHA-256チェックサムとリリースアーティファクトの特定のリビジョンタブを提供しています。ネイティブ統合、ブラウザ使用、オフラインセットアップを支援するための詳細な展開ガイドが利用可能です。
- カテゴリーMLOps・モデルデプロイ
- 料金モデルオープンソース
- デプロイローカルで実行, クラウド
- プラットフォームmacOS, Linux, Windows
Cactus Runtimeのハイライト
テキスト、音声、視覚モデルのローカル実行
Needle 3、Whistle、Mirage用の事前構築されたランタイムバイナリ
簡単な統合のためのPython API
初回使用時に自動的にエンジンとモデル重みをダウンロード(Python)
macOS Apple Siliconのサポート
Linux x86-64、ARM64、ARMv7、RISC-V、MIPS32elのサポート
Windows x64およびARM64のサポート
Android ARM64、ARMv7、RISC-Vのサポート
iOS ARM64、iOS Simulator ARM64のサポート
tvOS ARM64およびwatchOS ARM64のサポート
ブラウザおよびNode.js用のWebAssembly(WASM)サポート
WebAssembly System Interface環境用のWASIコンポーネント
C/C++アプリケーション用の静的ライブラリ(libcactus.a、cactus.h)
別々のリポジトリで管理されるモデル重み
再現可能なダウンロードのためのSHA-256チェックサム
Cactus Runtimeをはじめる
Pythonパッケージをインストール:Pythonで`import cactus`を使用して、エンジンとモデル重みを自動的にダウンロードします。
ネイティブランナーをダウンロード:サポートされているリストからプラットフォームを選択し、対応するバイナリをダウンロードします。
モデルを指定:ネイティブランナーを実行する際に`--model needle3`または`--model mirage`を使用して特定のモデルを選択します。
C/C++と統合:`cactus.h`を含め、C/C++アプリケーションで`libcactus.a`をリンクします。
WASIで展開:WASI環境用に`cactus:runtime/[email protected]`またはOCIアーティファクトを利用します。
Python APIにアクセス:詳細な使用法とソースコードの例については、Python APIドキュメントを参照してください。
Cactus Runtimeの使用例
- ローカルAIモデル実行
- クロスプラットフォームAI開発
- 組み込みAIシステム
- ウェブベースのAIアプリケーション
- ネイティブアプリケーション統合
- Python AI開発
- オフラインAI処理








