LMCache

GPTCache

AI GitHub リポジトリ

大規模言語モデル（LLMs）向けに設計されたセマンティックキャッシュで、LangChainおよびllama_indexと完全に統合されています。セマンティックデータをキャッシュすることでLLMsのパフォーマンスを最適化し、効率を向上させ、計算負荷を軽減します。GPTCacheは、大規模言語モデル（LLMs）向けに設計されたセマンティックキャッシュで、LangChainおよびllama_indexと完全に統合されています。セマンティックデータをキャッシュすることでLLMsのパフォーマンスを最適化し、効率を向上させ、計算負荷を軽減します。

LMDeploy

AI GitHub リポジトリ

#72

大規模言語モデル（LLM）を圧縮、デプロイ、提供するために設計されたツールキットです。開発者がLLMを効率的に管理し、最適なパフォーマンスとスケーラビリティを確保するために必要なツールを提供します。LMDeployは、大規模言語モデル（LLM）を圧縮、デプロイ、提供するために設計されたツールキットです。開発者がLLMを効率的に管理し、最適なパフォーマンスとスケーラビリティを確保するために必要なツールを提供します。

omlx

AI GitHub リポジトリ

#135

Apple Silicon向けに設計されたLLM推論サーバーで、継続的バッチ処理とSSDキャッシングを特徴としています。macOSメニューバーから直接管理され、巨大な言語モデルを扱う開発者にとって効率的でスムーズな体験を提供します。omlxはApple Silicon向けに設計されたLLM推論サーバーで、継続的バッチ処理とSSDキャッシングを特徴としています。macOSメニューバーから直接管理され、巨大な言語モデルを扱う開発者にとって効率的でスムーズな体験を提供します。

vLLM

AI GitHub リポジトリ

#23

大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

SGLang

AI GitHub リポジトリ

#53

大規模言語モデルおよびマルチモーダルモデル向けに設計された高性能サービングフレームワークです。AIアプリケーションのパフォーマンスを向上させる効率的なサービング機能を提供し、AI分野の開発者や研究者に適しています。SGLangは、大規模言語モデルおよびマルチモーダルモデル向けに設計された高性能サービングフレームワークです。AIアプリケーションのパフォーマンスを向上させる効率的なサービング機能を提供し、AI分野の開発者や研究者に適しています。

llmware

AI GitHub リポジトリ

#81

小型の専門モデルを使用して企業向けRAGパイプラインを構築するために設計された統一フレームワークです。さまざまなAIモデルを統合して一貫したパイプラインを作成し、企業アプリケーションの効率性とスケーラビリティを向上させます。llmwareは、小型の専門モデルを使用して企業向けRAGパイプラインを構築するために設計された統一フレームワークです。さまざまなAIモデルを統合して一貫したパイプラインを作成し、企業アプリケーションの効率性とスケーラビリティを向上させます。

Soup

AI GitHub リポジトリ

スープは、単一のYAMLファイルを使用して大規模言語モデル（LLM）のファインチューニングを可能にするGitHubリポジトリです。レイヤーストリーミングを利用して、4GBのラップトップGPU上で80億パラメータのモデルをトレーニングし、限られたハードウェアでの高度なAIモデルのトレーニングを実現します。

mlc-llm

AI GitHub リポジトリ

機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。mlc-llmは、機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。