Xinference

PowerInfer

AI GitHub リポジトリ

#202

ローカル展開のために設計された高速大規模言語モデルサービングツールです。これにより、大規模言語モデルの効率的かつ迅速な推論が可能になり、AIソリューションをローカルに実装したい開発者や研究者に適しています。PowerInferは、ローカル展開のために設計された高速大規模言語モデルサービングツールです。これにより、大規模言語モデルの効率的かつ迅速な推論が可能になり、AIソリューションをローカルに実装したい開発者や研究者に適しています。

vLLM

AI GitHub リポジトリ

#23

大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

FlashInfer

AI GitHub リポジトリ

大規模言語モデル（LLM）を提供するために設計されたカーネルライブラリです。LLMの効率的なデプロイと管理を促進し、開発者がGitHubを通じてその機能を向上させることを可能にします。FlashInferは、大規模言語モデル（LLM）を提供するために設計されたカーネルライブラリです。LLMの効率的なデプロイと管理を促進し、開発者がGitHubを通じてその機能を向上させることを可能にします。

BentoML

AI GitHub リポジトリ

#93

AIモデルとアプリケーションのデプロイを簡素化するために設計されたオープンソースプラットフォームです。開発者は、モデル推論APIを構築し、ジョブキューを管理し、マルチモデルパイプラインを効率的に作成することができ、AIデプロイメントをアクセスしやすく、スムーズにします。BentoMLは、AIモデルとアプリケーションのデプロイを簡素化するために設計されたオープンソースプラットフォームです。開発者は、モデル推論APIを構築し、ジョブキューを管理し、マルチモデルパイプラインを効率的に作成することができ、AIデプロイメントをアクセスしやすく、スムーズにします。

Petals

AI GitHub リポジトリ

#102

ユーザーがBitTorrentスタイルのアプローチを使用して自宅で大規模言語モデル（LLM）を実行できるオープンソースプロジェクトです。従来のオフロード手法と比較して、より迅速なファインチューニングと推論を提供します。Petalsは、ユーザーがBitTorrentスタイルのアプローチを使用して自宅で大規模言語モデル（LLM）を実行できるオープンソースプロジェクトです。従来のオフロード手法と比較して、より迅速なファインチューニングと推論を提供します。

LocalAI

AI GitHub リポジトリ

#44

ユーザーがGPUを必要とせずに任意のハードウェア上でさまざまなモデル（LLM、ビジョン、音声、画像、動画など）を実行できるオープンソースのAIエンジンです。この柔軟性により、多様なアプリケーションにアクセス可能です。LocalAIは、ユーザーがGPUを必要とせずに任意のハードウェア上でさまざまなモデル（LLM、ビジョン、音声、画像、動画など）を実行できるオープンソースのAIエンジンです。この柔軟性により、多様なアプリケーションにアクセス可能です。

Microsoftが開発した1ビット大規模言語モデル（LLM）の公式推論フレームワークです。LLMの効率的な処理と展開を可能にし、パフォーマンスとリソースの使用を最適化します。BitNetは、Microsoftが開発した1ビット大規模言語モデル（LLM）の公式推論フレームワークです。LLMの効率的な処理と展開を可能にし、パフォーマンスとリソースの使用を最適化します。

Runanywhere

AI GitHub リポジトリ

Runanywhere SDKsは、AIモデルをローカルで実行するために設計された生産準備が整ったツールキットです。効率的なローカル実行のための重要なツールとリソースを提供することで、AIアプリケーションの開発と展開を促進します。