kimi-k3-in-c

AirLLM

AI GitHub リポジトリ

#234

1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。AirLLMは、1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。

TokenSpeed

AI GitHub リポジトリ

#189

高速処理を実現するために設計された高性能のLLM推論エンジンです。大規模言語モデルに最適化されており、AI開発者や研究者に効率的でスケーラブルなソリューションを提供します。TokenSpeedは、高速処理を実現するために設計された高性能のLLM推論エンジンです。大規模言語モデルに最適化されており、AI開発者や研究者に効率的でスケーラブルなソリューションを提供します。

Soup

AI GitHub リポジトリ

スープは、単一のYAMLファイルを使用して大規模言語モデル（LLM）のファインチューニングを可能にするGitHubリポジトリです。レイヤーストリーミングを利用して、4GBのラップトップGPU上で80億パラメータのモデルをトレーニングし、限られたハードウェアでの高度なAIモデルのトレーニングを実現します。

DeepSeek-R1

AI GitHub リポジトリ

AI駆動のソリューションに焦点を当てたGitHubプロジェクトです。プラグイン、スパースアテンションカーネル、効率的な通信ライブラリなど、AI機能を強化するさまざまなリポジトリを提供しています。DeepSeek-R1は、AI駆動のソリューションに焦点を当てたGitHubプロジェクトです。プラグイン、スパースアテンションカーネル、効率的な通信ライブラリなど、AI機能を強化するさまざまなリポジトリを提供しています。

LLM architecture from scratch

AI GitHub リポジトリ

llm-architecture-from-scratchは、Yeonwoo Sungによって作成されたGitHubリポジトリで、PyTorchを使用して大規模言語モデルアーキテクチャをゼロから実装することに焦点を当てています。LLMの構築や実験に興味のある開発者向けに、モデルとツールの包括的なコレクションを提供します。

Nano-vLLM

AI GitHub リポジトリ

Nano vLLMは、大規模言語モデルのための軽量仮想マシンの開発に焦点を当てたGitHubリポジトリです。推論効率とリソース利用の最適化を目指しており、LLMを扱うAI研究者や開発者に適しています。

MiniCPM5: オンデバイスLLM

AI GitHub リポジトリ

OpenBMBによって開発された高度なオンデバイス言語モデルです。コンパクトなサイズを維持しながら最先端のパフォーマンスを提供し、効率的な処理を必要とするアプリケーションに最適です。MiniCPM5は、OpenBMBによって開発された高度なオンデバイス言語モデルです。コンパクトなサイズを維持しながら最先端のパフォーマンスを提供し、効率的な処理を必要とするアプリケーションに最適です。

Microsoftが開発した1ビット大規模言語モデル（LLM）の公式推論フレームワークです。LLMの効率的な処理と展開を可能にし、パフォーマンスとリソースの使用を最適化します。BitNetは、Microsoftが開発した1ビット大規模言語モデル（LLM）の公式推論フレームワークです。LLMの効率的な処理と展開を可能にし、パフォーマンスとリソースの使用を最適化します。