TokenSpeed

vLLM

AI GitHub リポジトリ

#23

大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル（LLM）向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

Petals

AI GitHub リポジトリ

#102

ユーザーがBitTorrentスタイルのアプローチを使用して自宅で大規模言語モデル（LLM）を実行できるオープンソースプロジェクトです。従来のオフロード手法と比較して、より迅速なファインチューニングと推論を提供します。Petalsは、ユーザーがBitTorrentスタイルのアプローチを使用して自宅で大規模言語モデル（LLM）を実行できるオープンソースプロジェクトです。従来のオフロード手法と比較して、より迅速なファインチューニングと推論を提供します。

Microsoftが開発した1ビット大規模言語モデル（LLM）の公式推論フレームワークです。LLMの効率的な処理と展開を可能にし、パフォーマンスとリソースの使用を最適化します。BitNetは、Microsoftが開発した1ビット大規模言語モデル（LLM）の公式推論フレームワークです。LLMの効率的な処理と展開を可能にし、パフォーマンスとリソースの使用を最適化します。

MNN

AI GitHub リポジトリ

Alibabaによって開発された高性能で軽量な推論エンジンです。デバイス上のLLMおよびエッジAIアプリケーションを最適化するために設計されており、高速で効率的な推論機能を提供します。MNNは、Alibabaによって開発された高性能で軽量な推論エンジンです。デバイス上のLLMおよびエッジAIアプリケーションを最適化するために設計されており、高速で効率的な推論機能を提供します。

AirLLM

AI GitHub リポジトリ

#234

1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。AirLLMは、1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。

MLX

AI GitHub リポジトリ

Appleシリコン専用に設計された配列フレームワークで、効率的な機械学習操作を可能にします。開発者がGitHubでその開発に貢献できるようにし、AIコミュニティにおけるコラボレーションと革新を促進します。MLXはAppleシリコン専用に設計された配列フレームワークで、効率的な機械学習操作を可能にします。開発者がGitHubでその開発に貢献できるようにし、AIコミュニティにおけるコラボレーションと革新を促進します。

FlashInfer

AI GitHub リポジトリ

大規模言語モデル（LLM）を提供するために設計されたカーネルライブラリです。LLMの効率的なデプロイと管理を促進し、開発者がGitHubを通じてその機能を向上させることを可能にします。FlashInferは、大規模言語モデル（LLM）を提供するために設計されたカーネルライブラリです。LLMの効率的なデプロイと管理を促進し、開発者がGitHubを通じてその機能を向上させることを可能にします。

WebLLM

AI GitHub リポジトリ

web-llmは、ウェブ環境内で機械学習タスクを直接実行するために設計された高性能なブラウザ内LLM推論エンジンです。開発者はGitHubを通じてその機能を拡張し、貢献することができます。