omlx

vLLM

AI GitHub リポジトリ

#23

大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

MNN

AI GitHub リポジトリ

Alibabaによって開発された高性能で軽量な推論エンジンです。デバイス上のLLMおよびエッジAIアプリケーションを最適化するために設計されており、高速で効率的な推論機能を提供します。MNNは、Alibabaによって開発された高性能で軽量な推論エンジンです。デバイス上のLLMおよびエッジAIアプリケーションを最適化するために設計されており、高速で効率的な推論機能を提供します。

Splash

AI GitHub リポジトリ

#137

Appleシリコン専用に設計されたローカル推論エンジンです。Appleデバイス上での効率的なモデル推論を可能にし、AIモデルをローカルで扱う開発者にとって合理的なソリューションを提供します。SplashはAppleシリコン専用に設計されたローカル推論エンジンです。Appleデバイス上での効率的なモデル推論を可能にし、AIモデルをローカルで扱う開発者にとって合理的なソリューションを提供します。

LMCache

AI GitHub リポジトリ

大規模言語モデル（LLM）の効率を向上させるために設計された高性能なキー・バリューキャッシュレイヤーです。データ取得速度を最適化し、AIアプリケーションの処理を迅速化し、パフォーマンスを向上させます。LMCacheは、大規模言語モデル（LLM）の効率を向上させるために設計された高性能なキー・バリューキャッシュレイヤーです。データ取得速度を最適化し、AIアプリケーションの処理を迅速化し、パフォーマンスを向上させます。

mlc-llm

AI GitHub リポジトリ

機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。mlc-llmは、機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。

WebLLM

AI GitHub リポジトリ

web-llmは、ウェブ環境内で機械学習タスクを直接実行するために設計された高性能なブラウザ内LLM推論エンジンです。開発者はGitHubを通じてその機能を拡張し、貢献することができます。

TokenSpeed

AI GitHub リポジトリ

#189

高速処理を実現するために設計された高性能のLLM推論エンジンです。大規模言語モデルに最適化されており、AI開発者や研究者に効率的でスケーラブルなソリューションを提供します。TokenSpeedは、高速処理を実現するために設計された高性能のLLM推論エンジンです。大規模言語モデルに最適化されており、AI開発者や研究者に効率的でスケーラブルなソリューションを提供します。

Microsoftが開発した1ビット大規模言語モデル（LLM）の公式推論フレームワークです。LLMの効率的な処理と展開を可能にし、パフォーマンスとリソースの使用を最適化します。BitNetは、Microsoftが開発した1ビット大規模言語モデル（LLM）の公式推論フレームワークです。LLMの効率的な処理と展開を可能にし、パフォーマンスとリソースの使用を最適化します。