メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

minimind

minimindは、ユーザーが64Mパラメータの大規模言語モデル(LLM)をゼロからトレーニングするのを支援するために設計されたオープンソースのGitHubリポジトリです。このプロジェクトは、約2時間でこれを達成するために必要なコードとリソースを提供し、開発者や研究者にとって高度なLLMトレーニングを身近なものにします。データセット管理、モデルアーキテクチャ、トレーニングスクリプトのコンポーネントが含まれています。

リポジトリを見る
共有
リポジトリを見る
共有

minimindは、64百万パラメータの大規模言語モデル(LLM)をゼロからトレーニングするための効率的なアプローチを提供するGitHubリポジトリです。このプロジェクトは、ユーザーがこの集中的なトレーニングプロセスをわずか2時間で完了できるように設計されており、LLM開発の実験を迅速に行うためのファストトラックを提供します。これは、広範な計算リソースや時間のコミットメントなしにLLMトレーニングの基本的なメカニズムを理解したい個人にとって貴重なリソースとなります。

続きを読む

リポジトリは、`dataset`、`images`、`model`、`scripts`、`trainer`の専用ディレクトリを含むいくつかの主要コンポーネントで構成されています。これらのコンポーネントは、データ準備、モデル定義から実行、評価までの包括的なトレーニングパイプラインを促進します。`README.md`ファイルは、GRPOポリシー損失曲線の解釈方法に関する重要なドキュメントを提供し、ユーザーがプロジェクトの方法論を理解するのを助けます。

minimindは積極的にメンテナンスされており、最近のコミットはさまざまなモジュールにわたる継続的な開発と改善を示しています。たとえば、最近の更新ではDPOの好みペアフォーマットに対処し、モデルセクションの冗長なコメントを削除し、トレーニングスクリプトを洗練させています。このプロジェクトには、モデル評価のための`eval_llm.py`や依存関係を管理するための`requirements.txt`も含まれており、ユーザーにとってスムーズなセットアッププロセスを保証します。

開発者、研究者、AI愛好者を対象としたminimindは、LLMトレーニングへのアクセスを民主化します。大規模言語モデルの構築と最適化の複雑さに興味のある人々にとって、実践的でハンズオンの体験を提供します。プロジェクトの効率性とアクセスのしやすさに重点を置くことで、LLMアーキテクチャ、トレーニングパラダイム、パフォーマンス評価について学ぶための優れた出発点となります。

  • カテゴリー機械学習とデータサイエンス
  • 料金モデルオープンソース
  • デプロイクラウド, セルフホスト
  • プラットフォームWeb

  • ゼロから64MパラメータのLLMをトレーニング

  • 約2時間の迅速なトレーニング時間

  • オープンソースのGitHubリポジトリ

  • データセット管理コンポーネントを含む

  • モデルアーキテクチャの定義を提供

  • トレーニングスクリプトを含む

  • 専用のトレーナーモジュールを特徴とする

  • 評価スクリプト(`eval_llm.py`)を含む

  • 依存関係を`requirements.txt`で管理

  • GRPOポリシー損失曲線に関するドキュメントを提供

  • 最近の更新がある積極的なメンテナンス

  • DPOの好みペアフォーマットをサポート

  • 25人の貢献者からのコミュニティ貢献

  1. リポジトリをクローン: minimind GitHubリポジトリをローカルマシンにクローンしてプロジェクトファイルを取得します。

  2. 依存関係をインストール: プロジェクトディレクトリに移動し、`requirements.txt`にリストされたすべての必要なPythonパッケージをインストールします。

  3. データセットを準備: `dataset`ディレクトリ内の指示に従って、トレーニングに必要なデータを準備または取得します。

  4. モデルを構成: `model`ディレクトリ内でモデルパラメータと構成を確認し、必要に応じて調整します。

  5. トレーニングを実行: `scripts`または`trainer`ディレクトリにあるトレーニングスクリプトを実行してLLMトレーニングを開始します。

  6. LLMを評価: `eval_llm.py`を利用して、トレーニングされた言語モデルの性能と特性を評価します。

  • LLMトレーニング実験
  • 教育リソース
  • パフォーマンスベンチマーキング
  • 迅速なプロトタイピング
  • オープンソース貢献

minimind のレビュー

読み込み中...

minimind に似た人気のAIツール

ゼロからLLMをトレーニングするは、自分自身の大規模言語モデルをトレーニングするための包括的なガイドを提供します。データ取得からテキスト生成までをカバーしており、カスタムAIモデルの構築に興味のある開発者にとって必須のリソースです。

AIモデルとLLM
ツールを見る

自分自身の大規模言語モデルをトレーニングするための包括的なガイドを提供します。データ取得からテキスト生成までをカバーしており、カスタムAIモデルの構築に興味のある開発者にとって必須のリソースです。ゼロからLLMをトレーニングするは、自分自身の大規模言語モデルをトレーニングするための包括的なガイドを提供します。データ取得からテキスト生成までをカバーしており、カスタムAIモデルの構築に興味のある開発者にとって必須のリソースです。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

LLMs-from-scratch

AI GitHub リポジトリ

LLMs-from-scratchは、ユーザーがPyTorchを使用してChatGPTのような言語モデルを実装する手助けをするGitHubプロジェクトです。ゼロから大規模言語モデルを構築するためのステップバイステップのアプローチを提供し、AIや機械学習に興味のある開発者や研究者に最適です。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

ユーザーがPyTorchを使用してChatGPTのような言語モデルを実装する手助けをするGitHubプロジェクトです。ゼロから大規模言語モデルを構築するためのステップバイステップのアプローチを提供し、AIや機械学習に興味のある開発者や研究者に最適です。LLMs-from-scratchは、ユーザーがPyTorchを使用してChatGPTのような言語モデルを実装する手助けをするGitHubプロジェクトです。ゼロから大規模言語モデルを構築するためのステップバイステップのアプローチを提供し、AIや機械学習に興味のある開発者や研究者に最適です。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

LlamaFactory

AI GitHub リポジトリ

LlamaFactoryは、100以上の大規模言語モデル(LLM)および視覚言語モデル(VLM)の統一的かつ効率的なファインチューニングに焦点を当てたGitHubリポジトリです。AI分野の研究者や開発者のためにファインチューニングプロセスを簡素化することを目的としています。

機械学習プラットフォーム

AI GitHub リポジトリで第13位

ツールを見る

AI GitHub リポジトリ

100以上の大規模言語モデル(LLM)および視覚言語モデル(VLM)の統一的かつ効率的なファインチューニングに焦点を当てたGitHubリポジトリです。AI分野の研究者や開発者のためにファインチューニングプロセスを簡素化することを目的としています。LlamaFactoryは、100以上の大規模言語モデル(LLM)および視覚言語モデル(VLM)の統一的かつ効率的なファインチューニングに焦点を当てたGitHubリポジトリです。AI分野の研究者や開発者のためにファインチューニングプロセスを簡素化することを目的としています。

注目機械学習プラットフォーム
AI GitHub リポジトリで第13位

vLLM

AI GitHub リポジトリ

vllm-project/vllmは、大規模言語モデル(LLM)向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

MLOps・モデルデプロイ

AI GitHub リポジトリで第23位

ツールを見る

AI GitHub リポジトリ

大規模言語モデル(LLM)向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。vllm-project/vllmは、大規模言語モデル(LLM)向けに設計された高スループットかつメモリ効率の良い推論および提供エンジンです。リソース使用を最小限に抑えつつパフォーマンスを最適化し、AIや機械学習のさまざまなアプリケーションに適しています。

注目MLOps・モデルデプロイ
AI GitHub リポジトリで第23位

easy-dataset

AI GitHub リポジトリ

Easy-datasetは、LLMのファインチューニング、RAG、および評価のためのデータセット作成を効率化するために設計されたツールです。データの準備プロセスを簡素化し、大規模言語モデルを扱う開発者や研究者にとってアクセスしやすくしています。

プロンプトエンジニアリングツール

AI GitHub リポジトリで第215位

ツールを見る

AI GitHub リポジトリ

LLMのファインチューニング、RAG、および評価のためのデータセット作成を効率化するために設計されたツールです。データの準備プロセスを簡素化し、大規模言語モデルを扱う開発者や研究者にとってアクセスしやすくしています。Easy-datasetは、LLMのファインチューニング、RAG、および評価のためのデータセット作成を効率化するために設計されたツールです。データの準備プロセスを簡素化し、大規模言語モデルを扱う開発者や研究者にとってアクセスしやすくしています。

プロンプトエンジニアリングツール
AI GitHub リポジトリで第215位

MLX LM

AI GitHub リポジトリ

MLX LMは、MLXフレームワークを使用して大規模言語モデル(LLM)を実行するために設計されたGitHubプロジェクトです。開発者がその開発に貢献し、機能を向上させることができます。

機械学習プラットフォーム

AI GitHub リポジトリで第190位

ツールを見る

AI GitHub リポジトリ

MLXフレームワークを使用して大規模言語モデル(LLM)を実行するために設計されたGitHubプロジェクトです。開発者がその開発に貢献し、機能を向上させることができます。MLX LMは、MLXフレームワークを使用して大規模言語モデル(LLM)を実行するために設計されたGitHubプロジェクトです。開発者がその開発に貢献し、機能を向上させることができます。

機械学習プラットフォーム
AI GitHub リポジトリで第190位

autodistill

AI GitHub リポジトリ

Autodistillは、基盤モデルを使用して教師ありモデルを訓練することで、ラベリングなしで画像推論を可能にするGitHubプロジェクトです。トレーニングフェーズを自動化することでAIモデルの作成プロセスを簡素化し、開発者や研究者にとってアクセスしやすくしています。

機械学習とデータサイエンス
ツールを見る

AI GitHub リポジトリ

基盤モデルを使用して教師ありモデルを訓練することで、ラベリングなしで画像推論を可能にするGitHubプロジェクトです。トレーニングフェーズを自動化することでAIモデルの作成プロセスを簡素化し、開発者や研究者にとってアクセスしやすくしています。Autodistillは、基盤モデルを使用して教師ありモデルを訓練することで、ラベリングなしで画像推論を可能にするGitHubプロジェクトです。トレーニングフェーズを自動化することでAIモデルの作成プロセスを簡素化し、開発者や研究者にとってアクセスしやすくしています。

機械学習とデータサイエンス
AI GitHub リポジトリ トップ250を見る

Auto-ViML

AI GitHub リポジトリ

Auto-ViMLは、1行のコードで複数の機械学習モデルを構築するプロセスを自動化するために設計されたツールです。Ram Seshadriによって作成され、コラボレーションを歓迎し、リクエストに応じて許可を提供します。

機械学習とデータサイエンス
ツールを見る

AI GitHub リポジトリ

1行のコードで複数の機械学習モデルを構築するプロセスを自動化するために設計されたツールです。Ram Seshadriによって作成され、コラボレーションを歓迎し、リクエストに応じて許可を提供します。Auto-ViMLは、1行のコードで複数の機械学習モデルを構築するプロセスを自動化するために設計されたツールです。Ram Seshadriによって作成され、コラボレーションを歓迎し、リクエストに応じて許可を提供します。

機械学習とデータサイエンス
AI GitHub リポジトリ トップ250を見る
1 / 8