メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

Cactus Runtime

LLM#82MLOps・モデルデプロイオープンソース · macOS, Linux, Windows

Cactus Runtimeは、Needle 3、Whistle、Mirageモデルのための事前構築されたバイナリを提供し、テキスト、音声、視覚タスクのローカル実行を可能にします。macOS、Linux、Windows、Android、iOS、tvOS、watchOS、ウェブ環境を含む幅広いプラットフォームをサポートしています。開発者はPython APIまたはネイティブランナーを介して統合でき、モデルの重みは別途管理されます。

URLを訪問
共有
Cactus Runtime のスクリーンショット
Cactus Runtime のスクリーンショット

Cactus Runtimeは、さまざまなオペレーティングシステムや環境でテキスト、音声、視覚モデルをローカルで実行するために設計された多用途のエンジンです。Needle 3、Whistle、Mirageなどの特定のモデル用に事前構築されたランタイムバイナリを提供し、開発者が強力なAI機能をアプリケーションに直接統合できるようにします。

続きを読む

Cactusのコア機能は、多様なAIタスクを処理できる統一エンジンを提供することです。モデルの重みはそれぞれのリポジトリに保存されており、柔軟性とモジュール性を確保しています。Python開発者にとって、統合は簡単です:`cactus`をインポートするだけで、パッケージは初回使用時に自動的に一致するエンジンとモデルの重みをダウンロードします。詳細な実装のために、包括的なPython APIとソースコードが利用可能です。

Cactusは、さまざまな展開シナリオに対応できるように、広範なプラットフォームリストをサポートしています。これには、macOS Apple Silicon、さまざまなLinuxディストリビューション(x86-64、ARM64、ARMv7、RISC-V、MIPS32el)、Windows(x64、ARM64)、Android(ARM64、ARMv7、RISC-V)、iOS(ARM64、Simulator ARM64)、tvOS ARM64、watchOS ARM64、さらにはWebAssembly(WASM)を介したブラウザおよびNode.js環境が含まれます。この広範な互換性により、開発者はほぼすべてのターゲットデバイスやシステムにAIモデルを展開できます。

ネイティブ統合のために、開発者は選択したプラットフォーム用の特定のランナーをダウンロードできます。これらのランナーは、ランタイムで`.cact`重みをロードするように設計されています。CおよびC++アプリケーション用の静的ライブラリ(`cactus.h`を含む)が提供されており、既存のネイティブコードベースへの深い統合を容易にします。Pythonランタイムホイールは、このサポートをさらに拡張し、一般的なデスクトップおよびサーバーアーキテクチャをカバーします。

Cactusはまた、`cactus:runtime/[email protected]`をエクスポートするWASIコンポーネントを提供し、署名されたOCIアーティファクトとして利用可能です。これにより、WebAssembly System Interface環境での展開が可能になり、サーバーレス関数や他の現代のクラウドネイティブアプリケーションへの利用が広がります。このプロジェクトは再現可能なダウンロードを強調しており、SHA-256チェックサムとリリースアーティファクトの特定のリビジョンタブを提供しています。ネイティブ統合、ブラウザ使用、オフラインセットアップを支援するための詳細な展開ガイドが利用可能です。

  • カテゴリーMLOps・モデルデプロイ
  • 料金モデルオープンソース
  • デプロイローカルで実行, クラウド
  • プラットフォームmacOS, Linux, Windows

  • テキスト、音声、視覚モデルのローカル実行

  • Needle 3、Whistle、Mirage用の事前構築されたランタイムバイナリ

  • 簡単な統合のためのPython API

  • 初回使用時に自動的にエンジンとモデル重みをダウンロード(Python)

  • macOS Apple Siliconのサポート

  • Linux x86-64、ARM64、ARMv7、RISC-V、MIPS32elのサポート

  • Windows x64およびARM64のサポート

  • Android ARM64、ARMv7、RISC-Vのサポート

  • iOS ARM64、iOS Simulator ARM64のサポート

  • tvOS ARM64およびwatchOS ARM64のサポート

  • ブラウザおよびNode.js用のWebAssembly(WASM)サポート

  • WebAssembly System Interface環境用のWASIコンポーネント

  • C/C++アプリケーション用の静的ライブラリ(libcactus.a、cactus.h)

  • 別々のリポジトリで管理されるモデル重み

  • 再現可能なダウンロードのためのSHA-256チェックサム

  1. Pythonパッケージをインストール:Pythonで`import cactus`を使用して、エンジンとモデル重みを自動的にダウンロードします。

  2. ネイティブランナーをダウンロード:サポートされているリストからプラットフォームを選択し、対応するバイナリをダウンロードします。

  3. モデルを指定:ネイティブランナーを実行する際に`--model needle3`または`--model mirage`を使用して特定のモデルを選択します。

  4. C/C++と統合:`cactus.h`を含め、C/C++アプリケーションで`libcactus.a`をリンクします。

  5. WASIで展開:WASI環境用に`cactus:runtime/[email protected]`またはOCIアーティファクトを利用します。

  6. Python APIにアクセス:詳細な使用法とソースコードの例については、Python APIドキュメントを参照してください。

  • ローカルAIモデル実行
  • クロスプラットフォームAI開発
  • 組み込みAIシステム
  • ウェブベースのAIアプリケーション
  • ネイティブアプリケーション統合
  • Python AI開発
  • オフラインAI処理

Cactus Compute の製品

Cactus Compute の機能です。

Cactus Runtime のレビュー

読み込み中...

Cactus Runtime に似た人気のAIツール

Cactus Compute

AI GitHub リポジトリ

Cactus Computeは、モバイルデバイス、ウェアラブル、スマートホームシステム、ロボット向けの量子化、カーネル、ランタイム、推論エンジンに焦点を当てたオープンソースプロジェクトです。さまざまなプラットフォームでのAIパフォーマンスの最適化を目指しています。

機械学習プラットフォーム

AI GitHub リポジトリで第182位

ツールを見る

AI GitHub リポジトリ

モバイルデバイス、ウェアラブル、スマートホームシステム、ロボット向けの量子化、カーネル、ランタイム、推論エンジンに焦点を当てたオープンソースプロジェクトです。さまざまなプラットフォームでのAIパフォーマンスの最適化を目指しています。Cactus Computeは、モバイルデバイス、ウェアラブル、スマートホームシステム、ロボット向けの量子化、カーネル、ランタイム、推論エンジンに焦点を当てたオープンソースプロジェクトです。さまざまなプラットフォームでのAIパフォーマンスの最適化を目指しています。

機械学習プラットフォーム
AI GitHub リポジトリで第182位

SGLang-Omni

AI GitHub リポジトリ

SGLang-Omniは、TTSやASRなどの音声モデルおよび統合されたマルチモーダルモデル向けに設計された高性能なサービングフレームワークです。複雑なAIモデルを効率的に展開および管理するための堅牢なサポートを提供します。

MLOps・モデルデプロイ

AI音声ジェネレーターで第78位

ツールを見る

AI GitHub リポジトリ

TTSやASRなどの音声モデルおよび統合されたマルチモーダルモデル向けに設計された高性能なサービングフレームワークです。複雑なAIモデルを効率的に展開および管理するための堅牢なサポートを提供します。SGLang-Omniは、TTSやASRなどの音声モデルおよび統合されたマルチモーダルモデル向けに設計された高性能なサービングフレームワークです。複雑なAIモデルを効率的に展開および管理するための堅牢なサポートを提供します。

MLOps・モデルデプロイ
AI音声ジェネレーターで第78位

Runware

AI アプリ

Runwareは、画像、動画、音声、3D、LLM、ビジョンモデルのための統一されたAPIを提供する生成AI推論プラットフォームです。400K以上のモデル、管理されたインフラストラクチャ、カスタム推論エンジンに基づいた使用量ベースの価格設定を提供します。

MLOps・モデルデプロイ
ツールを見る

AI アプリ

画像、動画、音声、3D、LLM、ビジョンモデルのための統一されたAPIを提供する生成AI推論プラットフォームです。400K以上のモデル、管理されたインフラストラクチャ、カスタム推論エンジンに基づいた使用量ベースの価格設定を提供します。Runwareは、画像、動画、音声、3D、LLM、ビジョンモデルのための統一されたAPIを提供する生成AI推論プラットフォームです。400K以上のモデル、管理されたインフラストラクチャ、カスタム推論エンジンに基づいた使用量ベースの価格設定を提供します。

MLOps・モデルデプロイ
AI アプリ トップ250を見る

Replicate - APIでAIを実行

AI プラットフォーム

Replicateは、オープンソースの機械学習モデルを実行およびファインチューニングするためのクラウドAPIを提供します。カスタムモデルを1行のコードでデプロイできます。画像生成、音声、音楽、ビデオ作成のための、本番環境対応の数千ものAIモデルにアクセスできます。使用したコンピューティングリソースのみに支払い、自動スケーリングに対応しています。

MLOps・モデルデプロイ
ツールを見る

AI プラットフォーム

オープンソースの機械学習モデルを実行およびファインチューニングするためのクラウドAPIを提供します。カスタムモデルを1行のコードでデプロイできます。画像生成、音声、音楽、ビデオ作成のための、本番環境対応の数千ものAIモデルにアクセスできます。使用したコンピューティングリソースのみに支払い、自動スケーリングに対応しています。Replicateは、オープンソースの機械学習モデルを実行およびファインチューニングするためのクラウドAPIを提供します。カスタムモデルを1行のコードでデプロイできます。画像生成、音声、音楽、ビデオ作成のための、本番環境対応の数千ものAIモデルにアクセスできます。使用したコンピューティングリソースのみに支払い、自動スケーリングに対応しています。

注目MLOps・モデルデプロイ
AI プラットフォーム トップ150を見る

SiliconFlow

AI プラットフォーム

開発者が200以上の最適化されたLLMおよびマルチモーダルモデルをデプロイ、ファインチューニング、実行できるAIインフラストラクチャプラットフォームで、OpenAI互換のAPIを通じて従量課金制で提供されます。

MLOps・モデルデプロイ
ツールを見る

AI プラットフォーム

開発者が200以上の最適化されたLLMおよびマルチモーダルモデルをデプロイ、ファインチューニング、実行できるAIインフラストラクチャプラットフォームで、OpenAI互換のAPIを通じて従量課金制で提供されます。

注目MLOps・モデルデプロイ
AI プラットフォーム トップ150を見る

Baseten

AI プラットフォーム

Basetenの推論プラットフォームは、ユーザーがオープンソースおよびカスタムAIモデルを効率的にデプロイおよびスケールできるようにします。専用のインフラストラクチャ、高性能なAPI、シームレスな開発者ワークフローを提供し、迅速なデプロイと信頼性の高いパフォーマンスを確保します。

MLOps・モデルデプロイ

AI プラットフォームで第72位

ツールを見る

AI プラットフォーム

Basetenの推論プラットフォームは、ユーザーがオープンソースおよびカスタムAIモデルを効率的にデプロイおよびスケールできるようにします。専用のインフラストラクチャ、高性能なAPI、シームレスな開発者ワークフローを提供し、迅速なデプロイと信頼性の高いパフォーマンスを確保します。

注目MLOps・モデルデプロイ
AI プラットフォームで第72位

SGLang

AI フレームワーク

SGLangは、大規模な言語モデルとマルチモーダルモデル向けに設計された高性能なサービングフレームワークです。高度なAIソリューションを効率的に実装しようとする開発者のために、広範なハードウェアサポートと堅牢なエコシステムを提供します。

MLOps・モデルデプロイ
ツールを見る

AI フレームワーク

大規模な言語モデルとマルチモーダルモデル向けに設計された高性能なサービングフレームワークです。高度なAIソリューションを効率的に実装しようとする開発者のために、広範なハードウェアサポートと堅牢なエコシステムを提供します。SGLangは、大規模な言語モデルとマルチモーダルモデル向けに設計された高性能なサービングフレームワークです。高度なAIソリューションを効率的に実装しようとする開発者のために、広範なハードウェアサポートと堅牢なエコシステムを提供します。

注目MLOps・モデルデプロイ
AI フレームワーク トップ50を見る

TensorFold

AI GitHub リポジトリ

TensorFoldは、さまざまなハードウェアプラットフォームでの高性能コンピューティングのために設計されたオープンソースのLLM推論エンジンです。Metal、CUDA、Vulkanをサポートし、大規模な言語モデルの展開に柔軟なソリューションを提供します。このプロジェクトは効率的な実行を強調し、開発と展開のためのツールを提供しており、高度なAIモデルに取り組…

MLOps・モデルデプロイ
ツールを見る

AI GitHub リポジトリ

さまざまなハードウェアプラットフォームでの高性能コンピューティングのために設計されたオープンソースのLLM推論エンジンです。Metal、CUDA、Vulkanをサポートし、大規模な言語モデルの展開に柔軟なソリューションを提供します。このプロジェクトは効率的な実行を強調し、開発と展開のためのツールを提供しており、高度なAIモデルに取り組…TensorFoldは、さまざまなハードウェアプラットフォームでの高性能コンピューティングのために設計されたオープンソースのLLM推論エンジンです。Metal、CUDA、Vulkanをサポートし、大規模な言語モデルの展開に柔軟なソリューションを提供します。このプロジェクトは効率的な実行を強調し、開発と展開のためのツールを提供しており、高度なAIモデルに取り組…

MLOps・モデルデプロイ
AI GitHub リポジトリ トップ250を見る
1 / 8