GPTCache

LMCache

AI GitHub リポジトリ

大規模言語モデル（LLM）の効率を向上させるために設計された高性能なキー・バリューキャッシュレイヤーです。データ取得速度を最適化し、AIアプリケーションの処理を迅速化し、パフォーマンスを向上させます。LMCacheは、大規模言語モデル（LLM）の効率を向上させるために設計された高性能なキー・バリューキャッシュレイヤーです。データ取得速度を最適化し、AIアプリケーションの処理を迅速化し、パフォーマンスを向上させます。

omlx

AI GitHub リポジトリ

#135

Apple Silicon向けに設計されたLLM推論サーバーで、継続的バッチ処理とSSDキャッシングを特徴としています。macOSメニューバーから直接管理され、巨大な言語モデルを扱う開発者にとって効率的でスムーズな体験を提供します。omlxはApple Silicon向けに設計されたLLM推論サーバーで、継続的バッチ処理とSSDキャッシングを特徴としています。macOSメニューバーから直接管理され、巨大な言語モデルを扱う開発者にとって効率的でスムーズな体験を提供します。

LMDeploy

AI GitHub リポジトリ

#72

大規模言語モデル（LLM）を圧縮、デプロイ、提供するために設計されたツールキットです。開発者がLLMを効率的に管理し、最適なパフォーマンスとスケーラビリティを確保するために必要なツールを提供します。LMDeployは、大規模言語モデル（LLM）を圧縮、デプロイ、提供するために設計されたツールキットです。開発者がLLMを効率的に管理し、最適なパフォーマンスとスケーラビリティを確保するために必要なツールを提供します。

vLLM

AI GitHub リポジトリ

#23

大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

Soup

AI GitHub リポジトリ

スープは、単一のYAMLファイルを使用して大規模言語モデル（LLM）のファインチューニングを可能にするGitHubリポジトリです。レイヤーストリーミングを利用して、4GBのラップトップGPU上で80億パラメータのモデルをトレーニングし、限られたハードウェアでの高度なAIモデルのトレーニングを実現します。

FlagEmbedding

AI GitHub リポジトリ

情報検索および情報検索を強化した大規模言語モデル（LLM）に焦点を当てたGitHubリポジトリです。開発者がこれらのモデルの開発と改善に貢献できるツールとリソースを提供し、情報検索プロセスの向上を促進します。FlagEmbeddingは、情報検索および情報検索を強化した大規模言語モデル（LLM）に焦点を当てたGitHubリポジトリです。開発者がこれらのモデルの開発と改善に貢献できるツールとリソースを提供し、情報検索プロセスの向上を促進します。

openvibe

AI GitHub リポジトリ

AI コーディングエージェント向けに設計された、Python ベースのオープンソースフレームワークです。Auto-GPT アプリケーションの開発とデプロイのためのモジュール構造を提供します。主な機能には、LLM…Openvibe は、AI コーディングエージェント向けに設計された、Python ベースのオープンソースフレームワークです。Auto-GPT アプリケーションの開発とデプロイのためのモジュール構造を提供します。主な機能には、LLM…

EleutherAI GPT-NeoX

AI GitHub リポジトリ

GPU上でのモデル並列自己回帰トランスフォーマーのオープンソース実装です。MegatronおよびDeepSpeedライブラリを活用して、大規模言語モデルの効率的なトレーニングとデプロイを実現します。EleutherAI GPT-NeoXは、GPU上でのモデル並列自己回帰トランスフォーマーのオープンソース実装です。MegatronおよびDeepSpeedライブラリを活用して、大規模言語モデルの効率的なトレーニングとデプロイを実現します。