Splash

MLX

AI GitHub リポジトリ

Appleシリコン専用に設計された配列フレームワークで、効率的な機械学習操作を可能にします。開発者がGitHubでその開発に貢献できるようにし、AIコミュニティにおけるコラボレーションと革新を促進します。MLXはAppleシリコン専用に設計された配列フレームワークで、効率的な機械学習操作を可能にします。開発者がGitHubでその開発に貢献できるようにし、AIコミュニティにおけるコラボレーションと革新を促進します。

MNN

AI GitHub リポジトリ

Alibabaによって開発された高性能で軽量な推論エンジンです。デバイス上のLLMおよびエッジAIアプリケーションを最適化するために設計されており、高速で効率的な推論機能を提供します。MNNは、Alibabaによって開発された高性能で軽量な推論エンジンです。デバイス上のLLMおよびエッジAIアプリケーションを最適化するために設計されており、高速で効率的な推論機能を提供します。

Cactus Compute

AI GitHub リポジトリ

#21

モバイルデバイス、ウェアラブル、スマートホームシステム、ロボット向けの量子化、カーネル、ランタイム、推論エンジンに焦点を当てたオープンソースプロジェクトです。さまざまなプラットフォームでのAIパフォーマンスの最適化を目指しています。Cactus Computeは、モバイルデバイス、ウェアラブル、スマートホームシステム、ロボット向けの量子化、カーネル、ランタイム、推論エンジンに焦点を当てたオープンソースプロジェクトです。さまざまなプラットフォームでのAIパフォーマンスの最適化を目指しています。

LocalAI

AI GitHub リポジトリ

#44

ユーザーがGPUを必要とせずに任意のハードウェア上でさまざまなモデル（LLM、ビジョン、音声、画像、動画など）を実行できるオープンソースのAIエンジンです。この柔軟性により、多様なアプリケーションにアクセス可能です。LocalAIは、ユーザーがGPUを必要とせずに任意のハードウェア上でさまざまなモデル（LLM、ビジョン、音声、画像、動画など）を実行できるオープンソースのAIエンジンです。この柔軟性により、多様なアプリケーションにアクセス可能です。

Runanywhere

AI GitHub リポジトリ

Runanywhere SDKsは、AIモデルをローカルで実行するために設計された生産準備が整ったツールキットです。効率的なローカル実行のための重要なツールとリソースを提供することで、AIアプリケーションの開発と展開を促進します。

Laya CoreML

AI GitHub リポジトリ

Apple Core MLとNeural Engineを使用したローカルなLaya型の意思決定に焦点を当てたGitHubリポジトリです。M3 Max上で迅速な意思決定を行うための検証済みのポートとベンチマークを提供し、再現可能な速度とエネルギー効率を確保します。Laya CoreMLは、Apple Core MLとNeural Engineを使用したローカルなLaya型の意思決定に焦点を当てたGitHubリポジトリです。M3 Max上で迅速な意思決定を行うための検証済みのポートとベンチマークを提供し、再現可能な速度とエネルギー効率を確保します。

ブリトーコア

AI GitHub リポジトリ

Gpt-ossの推論ハーネスであり、OpenAIおよびAnthropic APIとの互換性を提供します。ネイティブPythonおよびブラウザツールをサポートし、効率的な処理のためにllama.cppまたはvLLMを利用します。ブリトーコアは、gpt-ossの推論ハーネスであり、OpenAIおよびAnthropic APIとの互換性を提供します。ネイティブPythonおよびブラウザツールをサポートし、効率的な処理のためにllama.cppまたはvLLMを利用します。

ローカルAIプレイグラウンド

AI アプリ

AIモデルをオフラインかつプライベートで実行するための無料のオープンソースネイティブアプリケーションです。RustバックエンドによりAI推論が簡素化され、GPUは不要です。モデルの管理、整合性の検証、ストリーミングサーバーの起動が容易で、技術的なセットアップなしでAIを利用できます。ローカルAIプレイグラウンドは、AIモデルをオフラインかつプライベートで実行するための無料のオープンソースネイティブアプリケーションです。RustバックエンドによりAI推論が簡素化され、GPUは不要です。モデルの管理、整合性の検証、ストリーミングサーバーの起動が容易で、技術的なセットアップなしでAIを利用できます。