Langsung ke konten utama
ToolPotion
Penasihat AI
Kirim (Gratis)

minimind

minimind adalah repositori GitHub sumber terbuka yang dirancang untuk membantu pengguna melatih Model Bahasa Besar (LLM) dengan 64 juta parameter dari awal. Proyek ini menyediakan kode dan sumber daya yang diperlukan untuk mencapai ini dalam waktu sekitar dua jam, menjadikan pelatihan LLM yang canggih dapat diakses oleh pengembang dan peneliti. Ini mencakup komponen untuk manajemen dataset, arsitektur model, dan skrip pelatihan.

Lihat Repositori
Bagikan
Lihat Repositori
Bagikan

minimind adalah repositori GitHub yang menawarkan pendekatan yang efisien untuk melatih Model Bahasa Besar (LLM) dengan 64 juta parameter dari awal. Proyek ini dirancang untuk memungkinkan pengguna menyelesaikan proses pelatihan intensif ini dalam waktu hanya dua jam, memberikan jalur cepat untuk bereksperimen dengan pengembangan LLM. Ini berfungsi sebagai sumber daya yang berharga bagi individu yang ingin memahami mekanisme inti pelatihan LLM tanpa memerlukan sumber daya komputasi yang luas atau komitmen waktu yang besar.

Baca Selengkapnya

Repositori ini terstruktur dengan beberapa komponen kunci, termasuk direktori khusus untuk `dataset`, `images`, `model`, `scripts`, dan `trainer`. Komponen-komponen ini memfasilitasi jalur pelatihan yang komprehensif, mulai dari persiapan data dan definisi model hingga eksekusi dan evaluasi. File `README.md` menyediakan dokumentasi penting, termasuk klarifikasi tentang cara menginterpretasikan kurva kerugian kebijakan GRPO, membimbing pengguna melalui metodologi proyek.

minimind secara aktif dipelihara, dengan komit terbaru menunjukkan pengembangan dan perbaikan yang berkelanjutan di berbagai modul. Misalnya, pembaruan terbaru menangani format pasangan preferensi DPO, memangkas komentar yang tidak perlu di bagian model, dan menyempurnakan skrip pelatihan. Proyek ini juga mencakup `eval_llm.py` untuk evaluasi model dan `requirements.txt` untuk mengelola ketergantungan, memastikan proses pengaturan yang lancar bagi pengguna.

Ditujukan untuk pengembang, peneliti, dan penggemar AI, minimind mendemokratisasi akses ke pelatihan LLM. Ini memberikan pengalaman praktis yang langsung bagi mereka yang tertarik dengan seluk-beluk membangun dan mengoptimalkan model bahasa besar. Penekanan proyek pada efisiensi dan aksesibilitas menjadikannya titik awal yang sangat baik untuk belajar tentang arsitektur LLM, paradigma pelatihan, dan evaluasi kinerja.

  • KategoriMachine Learning & Ilmu Data
  • Model HargaOpen source
  • PenerapanCloud, Di-host sendiri
  • PlatformWeb

  • Melatih LLM dengan 64 juta parameter dari awal

  • Waktu pelatihan cepat sekitar 2 jam

  • Repositori GitHub sumber terbuka

  • Termasuk komponen manajemen dataset

  • Menyediakan definisi arsitektur model

  • Berisi skrip pelatihan

  • Memiliki modul pelatih khusus

  • Termasuk skrip evaluasi (`eval_llm.py`)

  • Mengelola ketergantungan melalui `requirements.txt`

  • Menawarkan dokumentasi tentang kurva kerugian kebijakan GRPO

  • Secara aktif dipelihara dengan pembaruan terbaru

  • Mendukung format pasangan preferensi DPO

  • Kontribusi komunitas dari 25 kontributor

  1. Klon repositori: Dapatkan file proyek dengan mengkloning repositori GitHub minimind ke mesin lokal Anda.

  2. Instal ketergantungan: Arahkan ke direktori proyek dan instal semua paket Python yang diperlukan yang terdaftar di `requirements.txt`.

  3. Siapkan dataset: Ikuti instruksi di dalam direktori `dataset` untuk menyiapkan atau memperoleh data yang diperlukan untuk pelatihan.

  4. Konfigurasi model: Tinjau dan sesuaikan parameter dan konfigurasi model di dalam direktori `model` sesuai kebutuhan.

  5. Eksekusi pelatihan: Jalankan skrip pelatihan yang terletak di direktori `scripts` atau `trainer` untuk memulai pelatihan LLM.

  6. Evaluasi LLM: Gunakan `eval_llm.py` untuk menilai kinerja dan karakteristik model bahasa yang telah dilatih.

  • Eksperimen Pelatihan LLM
  • Sumber Daya Pendidikan
  • Benchmarking Kinerja
  • Prototyping Cepat
  • Kontribusi Sumber Terbuka

Ulasan minimind

Memuat...

Alat AI Populer Seperti minimind

Latih LLM dari Awal

Repositori GitHub AI

Latih LLM dari Awal menyediakan panduan komprehensif untuk melatih model bahasa besar Anda sendiri. Ini mencakup segala hal mulai dari akuisisi data hingga generasi teks,…

Model AI & LLM
Lihat Alat

Repositori GitHub AI

Menyediakan panduan komprehensif untuk melatih model bahasa besar Anda sendiri. Ini mencakup segala hal mulai dari akuisisi data hingga generasi teks,…Latih LLM dari Awal menyediakan panduan komprehensif untuk melatih model bahasa besar Anda sendiri. Ini mencakup segala hal mulai dari akuisisi data hingga generasi teks,…

Model AI & LLM
Lihat Top 250 Repositori GitHub AI

LLMs-from-scratch

Repositori GitHub AI

LLMs-from-scratch adalah proyek GitHub yang membimbing pengguna dalam mengimplementasikan model bahasa mirip ChatGPT menggunakan PyTorch. Proyek ini menyediakan pendekatan…

Model AI & LLM
Lihat Alat

Repositori GitHub AI

Proyek GitHub yang membimbing pengguna dalam mengimplementasikan model bahasa mirip ChatGPT menggunakan PyTorch. Proyek ini menyediakan pendekatan…LLMs-from-scratch adalah proyek GitHub yang membimbing pengguna dalam mengimplementasikan model bahasa mirip ChatGPT menggunakan PyTorch. Proyek ini menyediakan pendekatan…

Model AI & LLM
Lihat Top 250 Repositori GitHub AI

LlamaFactory

Repositori GitHub AI

LlamaFactory adalah repositori GitHub yang berfokus pada penyempurnaan terpadu dan efisien dari lebih dari 100 model bahasa besar (LLM) dan model bahasa-visual (VLM). Ini…

Platform Machine Learning

Peringkat 13 di Repositori GitHub AI

Lihat Alat

Repositori GitHub AI

Repositori GitHub yang berfokus pada penyempurnaan terpadu dan efisien dari lebih dari 100 model bahasa besar (LLM) dan model bahasa-visual (VLM). Ini…LlamaFactory adalah repositori GitHub yang berfokus pada penyempurnaan terpadu dan efisien dari lebih dari 100 model bahasa besar (LLM) dan model bahasa-visual (VLM). Ini…

UnggulanPlatform Machine Learning
Peringkat 13 di Repositori GitHub AI

vLLM

Repositori GitHub AI

vllm-project/vllm adalah mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…

MLOps & Penerapan Model

Peringkat 23 di Repositori GitHub AI

Lihat Alat

Repositori GitHub AI

Mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…vllm-project/vllm adalah mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…

UnggulanMLOps & Penerapan Model
Peringkat 23 di Repositori GitHub AI

easy-dataset

Repositori GitHub AI

Easy-dataset adalah alat yang dirancang untuk mempermudah pembuatan dataset untuk fine-tuning LLM, RAG, dan evaluasi. Ini menyederhanakan proses persiapan data, menjadikannya…

Alat Rekayasa Prompt

Peringkat 215 di Repositori GitHub AI

Lihat Alat

Repositori GitHub AI

Alat yang dirancang untuk mempermudah pembuatan dataset untuk fine-tuning LLM, RAG, dan evaluasi. Ini menyederhanakan proses persiapan data, menjadikannya…Easy-dataset adalah alat yang dirancang untuk mempermudah pembuatan dataset untuk fine-tuning LLM, RAG, dan evaluasi. Ini menyederhanakan proses persiapan data, menjadikannya…

Alat Rekayasa Prompt
Peringkat 215 di Repositori GitHub AI

MLX LM

Repositori GitHub AI

MLX LM adalah proyek GitHub yang dirancang untuk memfasilitasi pengoperasian model bahasa besar (LLM) menggunakan kerangka kerja MLX. Ini memungkinkan pengembang untuk…

Platform Machine Learning

Peringkat 190 di Repositori GitHub AI

Lihat Alat

Repositori GitHub AI

Proyek GitHub yang dirancang untuk memfasilitasi pengoperasian model bahasa besar (LLM) menggunakan kerangka kerja MLX. Ini memungkinkan pengembang untuk…MLX LM adalah proyek GitHub yang dirancang untuk memfasilitasi pengoperasian model bahasa besar (LLM) menggunakan kerangka kerja MLX. Ini memungkinkan pengembang untuk…

Platform Machine Learning
Peringkat 190 di Repositori GitHub AI

autodistill

Repositori GitHub AI

Autodistill adalah proyek GitHub yang memungkinkan inferensi gambar tanpa pelabelan dengan menggunakan model dasar untuk melatih model terawasi. Ini menyederhanakan proses…

Machine Learning & Ilmu Data
Lihat Alat

Repositori GitHub AI

Proyek GitHub yang memungkinkan inferensi gambar tanpa pelabelan dengan menggunakan model dasar untuk melatih model terawasi. Ini menyederhanakan proses…Autodistill adalah proyek GitHub yang memungkinkan inferensi gambar tanpa pelabelan dengan menggunakan model dasar untuk melatih model terawasi. Ini menyederhanakan proses…

Machine Learning & Ilmu Data
Lihat Top 250 Repositori GitHub AI

Auto-ViML

Repositori GitHub AI

Auto-ViML adalah alat yang dirancang untuk mengotomatiskan proses pembangunan beberapa model pembelajaran mesin hanya dengan satu baris kode. Diciptakan oleh Ram Seshadri, alat…

Machine Learning & Ilmu Data
Lihat Alat

Repositori GitHub AI

Alat yang dirancang untuk mengotomatiskan proses pembangunan beberapa model pembelajaran mesin hanya dengan satu baris kode. Diciptakan oleh Ram Seshadri, alat…Auto-ViML adalah alat yang dirancang untuk mengotomatiskan proses pembangunan beberapa model pembelajaran mesin hanya dengan satu baris kode. Diciptakan oleh Ram Seshadri, alat…

Machine Learning & Ilmu Data
Lihat Top 250 Repositori GitHub AI
1 dari 8