GenieX

Soup

AI GitHub リポジトリ

スープは、単一のYAMLファイルを使用して大規模言語モデル（LLM）のファインチューニングを可能にするGitHubリポジトリです。レイヤーストリーミングを利用して、4GBのラップトップGPU上で80億パラメータのモデルをトレーニングし、限られたハードウェアでの高度なAIモデルのトレーニングを実現します。

PowerInfer

AI GitHub リポジトリ

#202

ローカル展開のために設計された高速大規模言語モデルサービングツールです。これにより、大規模言語モデルの効率的かつ迅速な推論が可能になり、AIソリューションをローカルに実装したい開発者や研究者に適しています。PowerInferは、ローカル展開のために設計された高速大規模言語モデルサービングツールです。これにより、大規模言語モデルの効率的かつ迅速な推論が可能になり、AIソリューションをローカルに実装したい開発者や研究者に適しています。

ZETIC Melange

AI アプリ

#137

あらゆるデバイス上のあらゆるモデルに対して、オンデバイスAIのデプロイを自動化します。元Qualcommエンジニアが開発し、NPUアクセラレーションを最適化し、200以上のデバイスでベンチマークを行い、わずか3行のコードで数時間でのデプロイを可能にし、コストとレイテンシを削減します。ZETIC Melangeは、あらゆるデバイス上のあらゆるモデルに対して、オンデバイスAIのデプロイを自動化します。元Qualcommエンジニアが開発し、NPUアクセラレーションを最適化し、200以上のデバイスでベンチマークを行い、わずか3行のコードで数時間でのデプロイを可能にし、コストとレイテンシを削減します。

vLLM

AI GitHub リポジトリ

#23

大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

Ollama

AI GitHub リポジトリ

#10

自分のコンピュータ上で大規模言語モデルを実行するためのオープンソースツールです。開発者は、Llama、Gemma、Qwen、DeepSeekなどのモデルを1つのコマンドでインストールし、macOS、Windows、Linux、またはDocker上でCLI、REST…Ollamaは、自分のコンピュータ上で大規模言語モデルを実行するためのオープンソースツールです。開発者は、Llama、Gemma、Qwen、DeepSeekなどのモデルを1つのコマンドでインストールし、macOS、Windows、Linux、またはDocker上でCLI、REST…

LocalAI

AI GitHub リポジトリ

#44

ユーザーがGPUを必要とせずに任意のハードウェア上でさまざまなモデル（LLM、ビジョン、音声、画像、動画など）を実行できるオープンソースのAIエンジンです。この柔軟性により、多様なアプリケーションにアクセス可能です。LocalAIは、ユーザーがGPUを必要とせずに任意のハードウェア上でさまざまなモデル（LLM、ビジョン、音声、画像、動画など）を実行できるオープンソースのAIエンジンです。この柔軟性により、多様なアプリケーションにアクセス可能です。

mlc-llm

AI GitHub リポジトリ

機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。mlc-llmは、機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。

FlashInfer

AI GitHub リポジトリ

大規模言語モデル（LLM）を提供するために設計されたカーネルライブラリです。LLMの効率的なデプロイと管理を促進し、開発者がGitHubを通じてその機能を向上させることを可能にします。FlashInferは、大規模言語モデル（LLM）を提供するために設計されたカーネルライブラリです。LLMの効率的なデプロイと管理を促進し、開発者がGitHubを通じてその機能を向上させることを可能にします。