プロジェクトマヤ

LocalAI

AI GitHub リポジトリ

#44

ユーザーがGPUを必要とせずに任意のハードウェア上でさまざまなモデル（LLM、ビジョン、音声、画像、動画など）を実行できるオープンソースのAIエンジンです。この柔軟性により、多様なアプリケーションにアクセス可能です。LocalAIは、ユーザーがGPUを必要とせずに任意のハードウェア上でさまざまなモデル（LLM、ビジョン、音声、画像、動画など）を実行できるオープンソースのAIエンジンです。この柔軟性により、多様なアプリケーションにアクセス可能です。

GPUStack

AI GitHub リポジトリ

#115

高性能AIモデルの提供のために設計されたGPUクラスター管理ツールで、vLLMやSGLangを含み、オンデマンドでSSHアクセス可能なGPUインスタンスを提供します。AIアプリケーションのためのGPUリソースの効率的な管理を促進します。GPUStackは、高性能AIモデルの提供のために設計されたGPUクラスター管理ツールで、vLLMやSGLangを含み、オンデマンドでSSHアクセス可能なGPUインスタンスを提供します。AIアプリケーションのためのGPUリソースの効率的な管理を促進します。

Shimmy

AI GitHub リポジトリ

OpenAI-API互換でGGUFネイティブな純Rust製WebGPU推論エンジンです。Pythonやllama.cppを必要とせず、任意のGPU上で動作し、単一のバイナリソリューションを提供します。Shimmyは、OpenAI-API互換でGGUFネイティブな純Rust製WebGPU推論エンジンです。Pythonやllama.cppを必要とせず、任意のGPU上で動作し、単一のバイナリソリューションを提供します。

openTPU

AI GitHub リポジトリ

FeSensによって開発されたオープンソースのAIアクセラレーターです。RTL、ISA、シミュレーター、コンパイラー、プロファイラーを1つのリポジトリに統合し、Kintex-7 PCIeカード上でQwen3、LFM2.5、Qwen3.5などのAIモデルを実行できるようにします。openTPUは、FeSensによって開発されたオープンソースのAIアクセラレーターです。RTL、ISA、シミュレーター、コンパイラー、プロファイラーを1つのリポジトリに統合し、Kintex-7 PCIeカード上でQwen3、LFM2.5、Qwen3.5などのAIモデルを実行できるようにします。

あなたのGPUまたはMacを検出し、ローカルで実行可能なオープンAIモデル（LLM、コーディング、画像、動画モデルを含む）を表示する無料ツールで、VRAM要件と速度の推定値を提供します。

AirLLM

AI GitHub リポジトリ

#234

1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。AirLLMは、1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。

TensorRT-LLM

AI GitHub リポジトリ

#63

大規模言語モデルを定義し、NVIDIA GPU上での推論を最適化するためのPython APIを提供します。効率的な推論実行を調整するためのPythonおよびC++ランタイムを作成するためのコンポーネントが含まれています。TensorRT-LLMは、大規模言語モデルを定義し、NVIDIA GPU上での推論を最適化するためのPython APIを提供します。効率的な推論実行を調整するためのPythonおよびC++ランタイムを作成するためのコンポーネントが含まれています。

GenieX

AI GitHub リポジトリ

Qualcommデバイス上でNPU、GPU、CPUを利用してフロンティアLLMおよびVLMをローカルで実行できるようにします。最小限のコードでプロセスを簡素化し、効率的なAIモデルのデプロイを提供します。GenieXは、Qualcommデバイス上でNPU、GPU、CPUを利用してフロンティアLLMおよびVLMをローカルで実行できるようにします。最小限のコードでプロセスを簡素化し、効率的なAIモデルのデプロイを提供します。