WebLLM

Petals

AI GitHub リポジトリ

#102

ユーザーがBitTorrentスタイルのアプローチを使用して自宅で大規模言語モデル（LLM）を実行できるオープンソースプロジェクトです。従来のオフロード手法と比較して、より迅速なファインチューニングと推論を提供します。Petalsは、ユーザーがBitTorrentスタイルのアプローチを使用して自宅で大規模言語モデル（LLM）を実行できるオープンソースプロジェクトです。従来のオフロード手法と比較して、より迅速なファインチューニングと推論を提供します。

vLLM

AI GitHub リポジトリ

#23

大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

Microsoftが開発した1ビット大規模言語モデル（LLM）の公式推論フレームワークです。LLMの効率的な処理と展開を可能にし、パフォーマンスとリソースの使用を最適化します。BitNetは、Microsoftが開発した1ビット大規模言語モデル（LLM）の公式推論フレームワークです。LLMの効率的な処理と展開を可能にし、パフォーマンスとリソースの使用を最適化します。

Mirascope - LLMアンチフレームワーク

AI GitHub リポジトリ

大規模言語モデルの開発プロセスを効率化するために設計された革新的なLLMアンチフレームワークです。開発者が継続的な開発に貢献できるGitHub上のコラボレーティブプラットフォームを提供します。Mirascopeは、大規模言語モデルの開発プロセスを効率化するために設計された革新的なLLMアンチフレームワークです。開発者が継続的な開発に貢献できるGitHub上のコラボレーティブプラットフォームを提供します。

MLX LM

AI GitHub リポジトリ

#162

MLXフレームワークを使用して大規模言語モデル（LLM）を実行するために設計されたGitHubプロジェクトです。開発者がその開発に貢献し、機能を向上させることができます。MLX LMは、MLXフレームワークを使用して大規模言語モデル（LLM）を実行するために設計されたGitHubプロジェクトです。開発者がその開発に貢献し、機能を向上させることができます。

ゴリラ

AI GitHub リポジトリ

関数呼び出し、またはツール呼び出しとして知られる大規模言語モデル（LLM）のトレーニングと評価に焦点を当てたGitHubプロジェクトです。特定の機能を実行する際のLLMのパフォーマンスと精度を向上させるためのフレームワークを提供します。ゴリラは、関数呼び出し、またはツール呼び出しとして知られる大規模言語モデル（LLM）のトレーニングと評価に焦点を当てたGitHubプロジェクトです。特定の機能を実行する際のLLMのパフォーマンスと精度を向上させるためのフレームワークを提供します。

FlashInfer

AI GitHub リポジトリ

大規模言語モデル（LLM）を提供するために設計されたカーネルライブラリです。LLMの効率的なデプロイと管理を促進し、開発者がGitHubを通じてその機能を向上させることを可能にします。FlashInferは、大規模言語モデル（LLM）を提供するために設計されたカーネルライブラリです。LLMの効率的なデプロイと管理を促進し、開発者がGitHubを通じてその機能を向上させることを可能にします。

TokenSpeed

AI GitHub リポジトリ

#189

高速処理を実現するために設計された高性能のLLM推論エンジンです。大規模言語モデルに最適化されており、AI開発者や研究者に効率的でスケーラブルなソリューションを提供します。TokenSpeedは、高速処理を実現するために設計された高性能のLLM推論エンジンです。大規模言語モデルに最適化されており、AI開発者や研究者に効率的でスケーラブルなソリューションを提供します。