メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

inferssd

AI GitHub リポジトリMLOps・モデルデプロイオープンソース · Windows, macOS

inferssdは、システムのRAMやVRAMの容量を超える大規模AIモデルを実行するために設計されたオープンソースのGitHubプロジェクトです。これは、Mixture-of-Experts (MoE)コンポーネントをSSDストレージから効率的にストリーミングすることによって実現されます。llama.cppフレームワークに基づいて構築されたinferssdは、制約のあるハードウェア上で高度なモデルのローカル実行を可能にし、広範なメモリのアップグレードを必要とせずに強力なAIを利用できるようにします。

リポジトリを見る
共有
リポジトリを見る
共有

inferssdは、特にMixture-of-Experts (MoE)アーキテクチャを持つ大規模AIモデルの実行を可能にすることに焦点を当てたGitHubプロジェクトです。これにより、モデルのサイズが利用可能なRAMやVRAMを超えても実行できます。核心的な革新は、SSDストレージからMoEエキスパートをストリーミングする能力にあります。これにより、ディスクをシステムメモリの拡張として効果的に使用します。このアプローチは、高度なモデルをローカルで実行するためのハードウェア要件を大幅に低下させ、より広範なユーザーやシステムにアクセス可能にします。

続きを読む

このプロジェクトは、大規模言語モデルのための高性能推論エンジンであるllama.cppの基盤の上に構築されています。llama.cppを活用することで、inferssdはモデル実行のための最適化されたベースから恩恵を受け、通常のコンシューマーグレードのハードウェアでは扱えないほど大きなモデルを処理する能力を拡張します。これは、費用のかかる高容量GPUや大量のRAMに投資することなく、大規模モデルを実験したり展開したりしたい研究者、開発者、愛好者にとって特に価値があります。

主な機能には、全体のモデルを一度に揮発性メモリに読み込むのではなく、必要に応じてモデルコンポーネントをストリーミングする効率的なメモリ管理が含まれます。この動的な読み込みメカニズムにより、現在アクティブな「エキスパート」またはモデルセグメントのみがRAM/VRAMに存在し、メモリフットプリントが最小限に抑えられます。このプロジェクトは、最近のコミットにより、ノートパソコンでのWindows SSD推論のサポートや、macOSの統合メモリGPU向けの最適化を示すなど、継続的な開発を示しています。

inferssdは、一般的なハードウェアの制限を克服することによって、大規模AIモデルへのアクセスを民主化することを目指しています。そのオープンソースの性質は、コミュニティの貢献とさらなる開発を奨励し、ローカルAI推論における革新を促進します。プロジェクトの構造は、明確な「エンジン」と「フレームワーク」コンポーネントを持ち、将来の拡張や異なるモデルアーキテクチャやハードウェアプラットフォームとの統合を容易にするモジュラー設計を示唆しています。

  • カテゴリーMLOps・モデルデプロイ
  • 料金モデルオープンソース
  • デプロイセルフホスト
  • プラットフォームWindows, macOS

  • RAMやVRAMよりも大きなモデルを実行

  • SSDからMixture-of-Experts (MoE)をストリーミング

  • 効率的な推論のためにllama.cppに基づいて構築

  • 制約のあるハードウェア上での大規模AIモデルの実行をサポート

  • MoEモデルのための最適化されたメモリ管理

  • 広範なメモリのアップグレードなしでローカル推論を可能に

  • 最近のコミットによる継続的な開発

  • ノートパソコンでのWindows SSD推論のサポート

  • 統合メモリGPU(例:macOS)向けの最適化

  • モジュラーな「エンジン」と「フレームワーク」アーキテクチャ

  • オープンソース利用のためのApache-2.0ライセンス

  • コラボレーションのためにGitHubで公開

  1. リポジトリをクローン: `git clone`を使用して、inferssdプロジェクトをGitHubからローカルマシンにダウンロードします。

  2. 依存関係をインストール: プロジェクトのドキュメント(例:`docs`または`README.md`)に従って、必要なビルドツールやライブラリをインストールします。これにはCMakeや特定のコンパイラが含まれる場合があります。

  3. ビルドを構成: CMakeを利用してビルドプロセスを構成し、ターゲットプラットフォームや希望するオプションを指定します。

  4. プロジェクトをコンパイル: 選択したビルドシステム(例:MakeやVisual Studio)を使用してソースコードをコンパイルし、inferssdの実行可能ファイルを生成します。

  5. モデルを準備: llama.cppおよびinferssdのストリーミングメカニズムと互換性のあるMoEモデルを変換または取得し、SSD推論用に正しくフォーマットされていることを確認します。

  6. 推論を実行: 準備したモデルを使用してコンパイルされたinferssdアプリケーションを実行し、SSDからエキスパートをストリーミングして推論を行います。

  7. パフォーマンスを監視: リソース使用量や推論速度を観察し、特定のハードウェアでの最適なパフォーマンスのために設定を調整することができます。

  • ローカルLLM推論
  • MoEモデルの展開
  • AI研究と開発
  • エッジAIアプリケーション
  • コスト効率の良いAIプロトタイピング

inferssd のレビュー

読み込み中...

inferssd に似た人気のAIツール

BigMoeOnEdge

AI GitHub リポジトリ

BigMoeOnEdgeは、電話やノートパソコンを含むさまざまなデバイスで、RAMを超えるMoEモデルを実行できるようにします。適応ストリーミングオプティマイザーを使用して、ハードウェアやOSに関係なくロスレスパフォーマンスを確保し、標準のllama.cppを活用します。

MLOps・モデルデプロイ
ツールを見る

AI GitHub リポジトリ

電話やノートパソコンを含むさまざまなデバイスで、RAMを超えるMoEモデルを実行できるようにします。適応ストリーミングオプティマイザーを使用して、ハードウェアやOSに関係なくロスレスパフォーマンスを確保し、標準のllama.cppを活用します。BigMoeOnEdgeは、電話やノートパソコンを含むさまざまなデバイスで、RAMを超えるMoEモデルを実行できるようにします。適応ストリーミングオプティマイザーを使用して、ハードウェアやOSに関係なくロスレスパフォーマンスを確保し、標準のllama.cppを活用します。

MLOps・モデルデプロイ
AI GitHub リポジトリ トップ250を見る

llama-modchip

AI GitHub リポジトリ

llama-modchipは、ユーザーがGPUなしで純粋な64GB CPU上で284B DeepSeek-V4-Flashや30B MoEのような大規模言語モデルを実行できるGitHubプロジェクトです。高いトークン毎秒レートと256Kコンテキストウィンドウをサポートし、効率的でアクセス可能なAIモデルの展開と実験のために、SwiGLU-H2やClaude…

MLOps・モデルデプロイ
ツールを見る

AI GitHub リポジトリ

ユーザーがGPUなしで純粋な64GB CPU上で284B DeepSeek-V4-Flashや30B MoEのような大規模言語モデルを実行できるGitHubプロジェクトです。高いトークン毎秒レートと256Kコンテキストウィンドウをサポートし、効率的でアクセス可能なAIモデルの展開と実験のために、SwiGLU-H2やClaude…llama-modchipは、ユーザーがGPUなしで純粋な64GB CPU上で284B DeepSeek-V4-Flashや30B MoEのような大規模言語モデルを実行できるGitHubプロジェクトです。高いトークン毎秒レートと256Kコンテキストウィンドウをサポートし、効率的でアクセス可能なAIモデルの展開と実験のために、SwiGLU-H2やClaude…

MLOps・モデルデプロイ
AI GitHub リポジトリ トップ250を見る

vLLM

AI GitHub リポジトリ

vllm-project/vllmは、大規模言語モデル(LLM)向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

MLOps・モデルデプロイ

AI GitHub リポジトリで第23位

ツールを見る

AI GitHub リポジトリ

大規模言語モデル(LLM)向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル(LLM)向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

注目MLOps・モデルデプロイ
AI GitHub リポジトリで第23位

trnrt

AI GitHub リポジトリ

trnrtは、AWS Trainium向けに設計されたオープンソースのLLM推論エンジンで、NKIメガカーネルを提供し、1Mトークンのコンテキストをサポートします。RunAnywhereによって開発され、OpenAI互換のAPIを提供し、特化したAWSハードウェア上で効率的かつスケーラブルな大規模言語モデルの展開を可能にします。このプロジェクトは、開発者や組…

MLOps・モデルデプロイ

MLOps・モデルデプロイで第160位

ツールを見る

AI GitHub リポジトリ

AWS Trainium向けに設計されたオープンソースのLLM推論エンジンで、NKIメガカーネルを提供し、1Mトークンのコンテキストをサポートします。RunAnywhereによって開発され、OpenAI互換のAPIを提供し、特化したAWSハードウェア上で効率的かつスケーラブルな大規模言語モデルの展開を可能にします。このプロジェクトは、開発者や組…trnrtは、AWS Trainium向けに設計されたオープンソースのLLM推論エンジンで、NKIメガカーネルを提供し、1Mトークンのコンテキストをサポートします。RunAnywhereによって開発され、OpenAI互換のAPIを提供し、特化したAWSハードウェア上で効率的かつスケーラブルな大規模言語モデルの展開を可能にします。このプロジェクトは、開発者や組…

MLOps・モデルデプロイ
MLOps・モデルデプロイで第160位

Soup

AI GitHub リポジトリ

スープは、単一のYAMLファイルを使用して大規模言語モデル(LLM)のファインチューニングを可能にするGitHubリポジトリです。レイヤーストリーミングを利用して、4GBのラップトップGPU上で80億パラメータのモデルをトレーニングし、限られたハードウェアでの高度なAIモデルのトレーニングを実現します。

MLOps・モデルデプロイ
ツールを見る

AI GitHub リポジトリ

スープは、単一のYAMLファイルを使用して大規模言語モデル(LLM)のファインチューニングを可能にするGitHubリポジトリです。レイヤーストリーミングを利用して、4GBのラップトップGPU上で80億パラメータのモデルをトレーニングし、限られたハードウェアでの高度なAIモデルのトレーニングを実現します。

MLOps・モデルデプロイ
AI GitHub リポジトリ トップ250を見る

MNN

AI GitHub リポジトリ

MNNは、Alibabaによって開発された高性能で軽量な推論エンジンです。デバイス上のLLMおよびエッジAIアプリケーションを最適化するために設計されており、高速で効率的な推論機能を提供します。

MLOps・モデルデプロイ
ツールを見る

AI GitHub リポジトリ

Alibabaによって開発された高性能で軽量な推論エンジンです。デバイス上のLLMおよびエッジAIアプリケーションを最適化するために設計されており、高速で効率的な推論機能を提供します。MNNは、Alibabaによって開発された高性能で軽量な推論エンジンです。デバイス上のLLMおよびエッジAIアプリケーションを最適化するために設計されており、高速で効率的な推論機能を提供します。

MLOps・モデルデプロイ
AI GitHub リポジトリ トップ250を見る

LMDeploy

AI GitHub リポジトリ

LMDeployは、大規模言語モデル(LLM)を圧縮、デプロイ、提供するために設計されたツールキットです。開発者がLLMを効率的に管理し、最適なパフォーマンスとスケーラビリティを確保するために必要なツールを提供します。

MLOps・モデルデプロイ

AI GitHub リポジトリで第59位

ツールを見る

AI GitHub リポジトリ

大規模言語モデル(LLM)を圧縮、デプロイ、提供するために設計されたツールキットです。開発者がLLMを効率的に管理し、最適なパフォーマンスとスケーラビリティを確保するために必要なツールを提供します。LMDeployは、大規模言語モデル(LLM)を圧縮、デプロイ、提供するために設計されたツールキットです。開発者がLLMを効率的に管理し、最適なパフォーマンスとスケーラビリティを確保するために必要なツールを提供します。

MLOps・モデルデプロイ
AI GitHub リポジトリで第59位

AirLLM

AI GitHub リポジトリ

AirLLMは、1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。

MLOps・モデルデプロイ

機械学習とデータサイエンスで第73位

ツールを見る

AI GitHub リポジトリ

1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。AirLLMは、1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。

MLOps・モデルデプロイ
機械学習とデータサイエンスで第73位
1 / 8