メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

smolmaxxing

smolmaxxingは、リソース制約のあるデバイス上でさまざまな大規模言語モデル(LLM)の実行を最適化することに焦点を当てたGitHubプロジェクトです。スマートフォン、iPad、TVボックスなどの小型デバイスで効率的なLLM推論を可能にするためのベンチマーク、ツール、およびドキュメントを提供します。このプロジェクトは、さまざまなハードウェアでのパフォーマンスと互換性を最大化し、先進的なAIを日常のガジェットで利用できるようにすることを目指しています。

リポジトリを見る
共有
リポジトリを見る
共有

smolmaxxingは、できるだけ小型のデバイス上で大規模言語モデル(LLM)を実行する限界を押し広げることに専念したオープンソースのGitHubリポジトリです。このプロジェクトの核心的な使命は、スマートフォン、タブレット、スマートTVボックスなど、通常はそのようなタスクに対してパワー不足と見なされるハードウェア上で、さまざまなLLMを効率的に展開および実行する能力を最大化することです。

続きを読む

リポジトリには、ベンチマーク、データ、ドキュメント、ツールを含む包括的なリソースのコレクションが含まれています。OnePlusのスマートフォンやXiaomi TV Box Sなどの特定のデバイス上で実行されるQwen3-Next-80B-A3BやQwen3.6-35B-A3Bなど、さまざまなLLMのパフォーマンスメトリックを示しています。このプロジェクトは、260Kから9Bパラメータのモデルをこれらのコンパクトなデバイス上で実行する実現可能性を示すために、トークン毎秒(tok/s)のパフォーマンスを綿密に追跡しています。

smolmaxxingは、資産、ベンチマーク、データ、ドキュメントのための専用ディレクトリを持つ構造化された実験アプローチを提供します。最適化プロセスを促進するためのパッチやツールが含まれており、プロジェクトの進捗を示すスクリーンショットもあります。`README.md`ファイルは、サイズクラスごとの最高パフォーマンスモデルのスコアボードやHugging Faceにホストされているモデルへのリンクを特徴とする中心的なハブとして機能します。

このプロジェクトは、エッジAI、デバイス上の機械学習、低電力環境でのLLM推論の最適化に興味のある開発者、研究者、愛好者に最適です。複数の開発者からの貢献を促進し、デバイスのベンチマークやコードの改善を提出したい人のための`CONTRIBUTING.md`ガイドも含まれています。`LICENSE`ファイルはMITライセンスを示しており、オープンな使用と改変を促進しています。

  • カテゴリーMLOps・モデルデプロイ
  • 料金モデルオープンソース
  • デプロイクラウド, セルフホスト
  • プラットフォームWeb

  • 小型デバイス上での最適化されたLLM推論

  • 多様なハードウェア上でのさまざまなLLMのベンチマーク

  • 260Kから9Bパラメータのモデルのサポート

  • パフォーマンス追跡(トークン毎秒)

  • デバイス特有の最適化に関するドキュメント

  • LLM展開のためのツールとパッチ

  • 最高パフォーマンスモデルのスコアボード

  • Hugging Faceモデルへのリンク

  • コミュニティの貢献と問題フォーム

  • オープンソース使用のためのMITライセンス

  • スマートフォン、iPad、TVボックスの例

  • 継続的な研究と開発のためのリポジトリ

  1. リポジトリをクローン: `git clone`を使用して、smolmaxxingプロジェクトをローカルマシンに取得します。

  2. ドキュメントを探索: `docs/`ディレクトリと`README.md`を確認して、プロジェクトの概要、デバイスの詳細、およびセットアップ手順を確認します。

  3. ベンチマークを確認: `bench/`および`data/`ディレクトリを調べて、さまざまな小型デバイス上での既存のLLMパフォーマンスを理解します。

  4. 依存関係をインストール: ターゲットデバイス上でLLMを実行するために必要なライブラリやツールを特定してインストールします。

  5. パッチ/ツールを適用: `patches/`および`tools/`ディレクトリから提供されたパッチやツールを利用して、LLMの実行を最適化します。

  6. 実験を実行: `EXPERIMENT.md`のガイドラインに従って、小型デバイス上で独自のLLM推論テストを実施します。

  7. 結果を貢献: `Submit your device`問題フォームまたは`CONTRIBUTING.md`を使用して、結果やコードの改善を共有します。

  • エッジAI開発
  • デバイス上のLLM推論
  • パフォーマンスベンチマーキング
  • リソース制約のあるAI
  • IoTデバイス向けのAI
  • モバイルAIアプリケーション

smolmaxxing のレビュー

読み込み中...

smolmaxxing に似た人気のAIツール

MNN

AI GitHub リポジトリ

MNNは、Alibabaによって開発された高性能で軽量な推論エンジンです。デバイス上のLLMおよびエッジAIアプリケーションを最適化するために設計されており、高速で効率的な推論機能を提供します。

MLOps・モデルデプロイ
ツールを見る

AI GitHub リポジトリ

Alibabaによって開発された高性能で軽量な推論エンジンです。デバイス上のLLMおよびエッジAIアプリケーションを最適化するために設計されており、高速で効率的な推論機能を提供します。MNNは、Alibabaによって開発された高性能で軽量な推論エンジンです。デバイス上のLLMおよびエッジAIアプリケーションを最適化するために設計されており、高速で効率的な推論機能を提供します。

MLOps・モデルデプロイ
AI GitHub リポジトリ トップ250を見る

BigMoeOnEdge

AI GitHub リポジトリ

BigMoeOnEdgeは、電話やノートパソコンを含むさまざまなデバイスで、RAMを超えるMoEモデルを実行できるようにします。適応ストリーミングオプティマイザーを使用して、ハードウェアやOSに関係なくロスレスパフォーマンスを確保し、標準のllama.cppを活用します。

MLOps・モデルデプロイ
ツールを見る

AI GitHub リポジトリ

電話やノートパソコンを含むさまざまなデバイスで、RAMを超えるMoEモデルを実行できるようにします。適応ストリーミングオプティマイザーを使用して、ハードウェアやOSに関係なくロスレスパフォーマンスを確保し、標準のllama.cppを活用します。BigMoeOnEdgeは、電話やノートパソコンを含むさまざまなデバイスで、RAMを超えるMoEモデルを実行できるようにします。適応ストリーミングオプティマイザーを使用して、ハードウェアやOSに関係なくロスレスパフォーマンスを確保し、標準のllama.cppを活用します。

MLOps・モデルデプロイ
AI GitHub リポジトリ トップ250を見る

trnrt

AI GitHub リポジトリ

trnrtは、AWS Trainium向けに設計されたオープンソースのLLM推論エンジンで、NKIメガカーネルを提供し、1Mトークンのコンテキストをサポートします。RunAnywhereによって開発され、OpenAI互換のAPIを提供し、特化したAWSハードウェア上で効率的かつスケーラブルな大規模言語モデルの展開を可能にします。このプロジェクトは、開発者や組…

MLOps・モデルデプロイ

MLOps・モデルデプロイで第160位

ツールを見る

AI GitHub リポジトリ

AWS Trainium向けに設計されたオープンソースのLLM推論エンジンで、NKIメガカーネルを提供し、1Mトークンのコンテキストをサポートします。RunAnywhereによって開発され、OpenAI互換のAPIを提供し、特化したAWSハードウェア上で効率的かつスケーラブルな大規模言語モデルの展開を可能にします。このプロジェクトは、開発者や組…trnrtは、AWS Trainium向けに設計されたオープンソースのLLM推論エンジンで、NKIメガカーネルを提供し、1Mトークンのコンテキストをサポートします。RunAnywhereによって開発され、OpenAI互換のAPIを提供し、特化したAWSハードウェア上で効率的かつスケーラブルな大規模言語モデルの展開を可能にします。このプロジェクトは、開発者や組…

MLOps・モデルデプロイ
MLOps・モデルデプロイで第160位

vLLM

AI GitHub リポジトリ

vllm-project/vllmは、大規模言語モデル(LLM)向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

MLOps・モデルデプロイ

AI GitHub リポジトリで第23位

ツールを見る

AI GitHub リポジトリ

大規模言語モデル(LLM)向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル(LLM)向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

注目MLOps・モデルデプロイ
AI GitHub リポジトリで第23位

llama-modchip

AI GitHub リポジトリ

llama-modchipは、ユーザーがGPUなしで純粋な64GB CPU上で284B DeepSeek-V4-Flashや30B MoEのような大規模言語モデルを実行できるGitHubプロジェクトです。高いトークン毎秒レートと256Kコンテキストウィンドウをサポートし、効率的でアクセス可能なAIモデルの展開と実験のために、SwiGLU-H2やClaude…

MLOps・モデルデプロイ
ツールを見る

AI GitHub リポジトリ

ユーザーがGPUなしで純粋な64GB CPU上で284B DeepSeek-V4-Flashや30B MoEのような大規模言語モデルを実行できるGitHubプロジェクトです。高いトークン毎秒レートと256Kコンテキストウィンドウをサポートし、効率的でアクセス可能なAIモデルの展開と実験のために、SwiGLU-H2やClaude…llama-modchipは、ユーザーがGPUなしで純粋な64GB CPU上で284B DeepSeek-V4-Flashや30B MoEのような大規模言語モデルを実行できるGitHubプロジェクトです。高いトークン毎秒レートと256Kコンテキストウィンドウをサポートし、効率的でアクセス可能なAIモデルの展開と実験のために、SwiGLU-H2やClaude…

MLOps・モデルデプロイ
AI GitHub リポジトリ トップ250を見る

mlc-llm

AI GitHub リポジトリ

mlc-llmは、機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。

MLOps・モデルデプロイ
ツールを見る

AI GitHub リポジトリ

機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。mlc-llmは、機械学習コンパイルを利用してデプロイメントプロセスを効率化するユニバーサルLLMデプロイメントエンジンです。さまざまなプラットフォームで大規模言語モデルをデプロイする際の効率性とスケーラビリティを向上させることを目的としています。

MLOps・モデルデプロイ
AI GitHub リポジトリ トップ250を見る

Soup

AI GitHub リポジトリ

スープは、単一のYAMLファイルを使用して大規模言語モデル(LLM)のファインチューニングを可能にするGitHubリポジトリです。レイヤーストリーミングを利用して、4GBのラップトップGPU上で80億パラメータのモデルをトレーニングし、限られたハードウェアでの高度なAIモデルのトレーニングを実現します。

MLOps・モデルデプロイ
ツールを見る

AI GitHub リポジトリ

スープは、単一のYAMLファイルを使用して大規模言語モデル(LLM)のファインチューニングを可能にするGitHubリポジトリです。レイヤーストリーミングを利用して、4GBのラップトップGPU上で80億パラメータのモデルをトレーニングし、限られたハードウェアでの高度なAIモデルのトレーニングを実現します。

MLOps・モデルデプロイ
AI GitHub リポジトリ トップ250を見る

AirLLM

AI GitHub リポジトリ

AirLLMは、1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。

MLOps・モデルデプロイ

機械学習とデータサイエンスで第73位

ツールを見る

AI GitHub リポジトリ

1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。AirLLMは、1つの4GB GPUを使用して70億パラメータの推論を可能にするGitHubプロジェクトです。限られたハードウェア上で大規模言語モデルのパフォーマンスを最適化するように設計されており、高度なAI機能をよりアクセスしやすくします。

MLOps・モデルデプロイ
機械学習とデータサイエンスで第73位
1 / 8