Aller au contenu principal
ToolPotion
Conseiller IA
Soumettre

minimind

minimind est un dépôt GitHub open-source conçu pour aider les utilisateurs à entraîner un modèle de langage de grande taille (LLM) de 64 millions de paramètres depuis le début. Ce projet fournit le code et les ressources nécessaires pour y parvenir en environ deux heures, rendant l'entraînement avancé de LLM accessible aux développeurs et aux chercheurs. Il comprend des composants pour la gestion des ensembles de données, l'architecture du modèle et les scripts d'entraînement.

Voir le dépôt
Partager
Voir le dépôt
Partager

minimind est un dépôt GitHub qui offre une approche simplifiée pour entraîner un modèle de langage de grande taille (LLM) de 64 millions de paramètres depuis le début. Le projet est conçu pour permettre aux utilisateurs de compléter ce processus d'entraînement intensif en aussi peu que deux heures, offrant un accès rapide pour expérimenter le développement de LLM. Il sert de ressource précieuse pour les personnes cherchant à comprendre les mécanismes fondamentaux de l'entraînement de LLM sans nécessiter de ressources informatiques ou d'engagements temporels importants.

Lire la suite

Le dépôt est structuré avec plusieurs composants clés, y compris des répertoires dédiés pour `dataset`, `images`, `model`, `scripts` et `trainer`. Ces composants facilitent un pipeline d'entraînement complet, de la préparation des données et la définition du modèle à l'exécution et l'évaluation. Le fichier `README.md` fournit une documentation essentielle, y compris des clarifications sur la manière d'interpréter les courbes de perte de politique GRPO, guidant les utilisateurs à travers les méthodologies du projet.

minimind est activement maintenu, avec des commits récents indiquant un développement et des améliorations continues à travers divers modules. Par exemple, les mises à jour récentes traitent du formatage des paires de préférences DPO, suppriment les commentaires redondants dans la section du modèle et affinent les scripts d'entraînement. Le projet inclut également `eval_llm.py` pour l'évaluation du modèle et `requirements.txt` pour gérer les dépendances, garantissant un processus de configuration fluide pour les utilisateurs.

Destiné aux développeurs, chercheurs et passionnés d'IA, minimind démocratise l'accès à l'entraînement de LLM. Il offre une expérience pratique et concrète pour ceux qui s'intéressent aux subtilités de la construction et de l'optimisation de grands modèles de langage. L'accent mis par le projet sur l'efficacité et l'accessibilité en fait un excellent point de départ pour apprendre sur l'architecture des LLM, les paradigmes d'entraînement et l'évaluation des performances.

  • CatégorieMachine learning et data science
  • Modèle tarifaireOpen source
  • DéploiementCloud, Auto-hébergé
  • PlateformesWeb

  • Entraîner un LLM de 64 millions de paramètres depuis le début

  • Temps d'entraînement rapide d'environ 2 heures

  • Dépôt GitHub open-source

  • Comprend des composants de gestion des ensembles de données

  • Fournit des définitions d'architecture de modèle

  • Contient des scripts d'entraînement

  • Dispose d'un module d'entraînement dédié

  • Inclut des scripts d'évaluation (`eval_llm.py`)

  • Gère les dépendances via `requirements.txt`

  • Offre une documentation sur les courbes de perte de politique GRPO

  • Activement maintenu avec des mises à jour récentes

  • Supporte le formatage des paires de préférences DPO

  • Contributions de la communauté de 25 contributeurs

  1. Cloner le dépôt : Obtenez les fichiers du projet en clonant le dépôt GitHub minimind sur votre machine locale.

  2. Installer les dépendances : Accédez au répertoire du projet et installez tous les packages Python requis listés dans `requirements.txt`.

  3. Préparer l'ensemble de données : Suivez les instructions dans le répertoire `dataset` pour préparer ou acquérir les données nécessaires à l'entraînement.

  4. Configurer le modèle : Examinez et ajustez les paramètres et configurations du modèle dans le répertoire `model` si nécessaire.

  5. Exécuter l'entraînement : Exécutez les scripts d'entraînement situés dans les répertoires `scripts` ou `trainer` pour commencer l'entraînement du LLM.

  6. Évaluer le LLM : Utilisez `eval_llm.py` pour évaluer les performances et les caractéristiques du modèle de langage entraîné.

  • Expérimentation d'entraînement de LLM
  • Ressource éducative
  • Évaluation des performances
  • Prototypage rapide
  • Contribution open-source

Avis sur minimind

Chargement...

Outils IA populaires comme minimind

Former un LLM depuis zéro

Dépôts GitHub d'IA

Former un LLM depuis zéro fournit un guide complet pour entraîner votre propre modèle de langage de grande taille. Il couvre tout, de l'acquisition de données à la génération de…

Modèles d'IA et LLM
Voir l'outil

Dépôts GitHub d'IA

Fournit un guide complet pour entraîner votre propre modèle de langage de grande taille. Il couvre tout, de l'acquisition de données à la génération de…Former un LLM depuis zéro fournit un guide complet pour entraîner votre propre modèle de langage de grande taille. Il couvre tout, de l'acquisition de données à la génération de…

Modèles d'IA et LLM
Voir le Top 250 Dépôts GitHub d'IA

LLMs-from-scratch

Dépôts GitHub d'IA

LLMs-from-scratch est un projet GitHub qui guide les utilisateurs dans la mise en œuvre d'un modèle de langage similaire à ChatGPT en utilisant PyTorch. Il fournit une approche…

Modèles d'IA et LLM
Voir l'outil

Dépôts GitHub d'IA

Projet GitHub qui guide les utilisateurs dans la mise en œuvre d'un modèle de langage similaire à ChatGPT en utilisant PyTorch. Il fournit une approche…LLMs-from-scratch est un projet GitHub qui guide les utilisateurs dans la mise en œuvre d'un modèle de langage similaire à ChatGPT en utilisant PyTorch. Il fournit une approche…

Modèles d'IA et LLM
Voir le Top 250 Dépôts GitHub d'IA

LlamaFactory

Dépôts GitHub d'IA

LlamaFactory est un dépôt GitHub axé sur l'ajustement fin unifié et efficace de plus de 100 modèles de langage de grande taille (LLMs) et de modèles de langage visuel (VLMs). Son…

Plateformes de machine learning

N°13 en Dépôts GitHub d'IA

Voir l'outil

Dépôts GitHub d'IA

Dépôt GitHub axé sur l'ajustement fin unifié et efficace de plus de 100 modèles de langage de grande taille (LLMs) et de modèles de langage visuel (VLMs). Son…LlamaFactory est un dépôt GitHub axé sur l'ajustement fin unifié et efficace de plus de 100 modèles de langage de grande taille (LLMs) et de modèles de langage visuel (VLMs). Son…

En vedettePlateformes de machine learning
N°13 en Dépôts GitHub d'IA

vLLM

Dépôts GitHub d'IA

vllm-project/vllm est un moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…

MLOps et déploiement de modèles

N°23 en Dépôts GitHub d'IA

Voir l'outil

Dépôts GitHub d'IA

Moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…vllm-project/vllm est un moteur d'inférence et de service à haut débit et efficace en mémoire, conçu pour les grands modèles de langage (LLMs). Il optimise les performances tout…

En vedetteMLOps et déploiement de modèles
N°23 en Dépôts GitHub d'IA

easy-dataset

Dépôts GitHub d'IA

Easy-dataset est un outil conçu pour simplifier la création de jeux de données pour le fine-tuning des LLM, le RAG et l'évaluation. Il facilite le processus de préparation des…

Outils d'ingénierie de prompts

N°215 en Dépôts GitHub d'IA

Voir l'outil

Dépôts GitHub d'IA

Outil conçu pour simplifier la création de jeux de données pour le fine-tuning des LLM, le RAG et l'évaluation. Il facilite le processus de préparation des…Easy-dataset est un outil conçu pour simplifier la création de jeux de données pour le fine-tuning des LLM, le RAG et l'évaluation. Il facilite le processus de préparation des…

Outils d'ingénierie de prompts
N°215 en Dépôts GitHub d'IA

MLX LM

Dépôts GitHub d'IA

MLX LM est un projet GitHub conçu pour faciliter l'exécution de grands modèles de langage (LLMs) en utilisant le cadre MLX. Il permet aux développeurs de contribuer à son…

Plateformes de machine learning

N°190 en Dépôts GitHub d'IA

Voir l'outil

Dépôts GitHub d'IA

Projet GitHub conçu pour faciliter l'exécution de grands modèles de langage (LLMs) en utilisant le cadre MLX. Il permet aux développeurs de contribuer à son…MLX LM est un projet GitHub conçu pour faciliter l'exécution de grands modèles de langage (LLMs) en utilisant le cadre MLX. Il permet aux développeurs de contribuer à son…

Plateformes de machine learning
N°190 en Dépôts GitHub d'IA

autodistill

Dépôts GitHub d'IA

Autodistill est un projet GitHub qui permet l'inférence d'images sans étiquetage en utilisant des modèles de base pour entraîner des modèles supervisés. Il simplifie le processus…

Machine learning et data science
Voir l'outil

Dépôts GitHub d'IA

Projet GitHub qui permet l'inférence d'images sans étiquetage en utilisant des modèles de base pour entraîner des modèles supervisés. Il simplifie le processus…Autodistill est un projet GitHub qui permet l'inférence d'images sans étiquetage en utilisant des modèles de base pour entraîner des modèles supervisés. Il simplifie le processus…

Machine learning et data science
Voir le Top 250 Dépôts GitHub d'IA

Auto-ViML

Dépôts GitHub d'IA

Auto-ViML est un outil conçu pour automatiser le processus de création de plusieurs modèles d'apprentissage automatique avec une seule ligne de code. Créé par Ram Seshadri, il…

Machine learning et data science
Voir l'outil

Dépôts GitHub d'IA

Outil conçu pour automatiser le processus de création de plusieurs modèles d'apprentissage automatique avec une seule ligne de code. Créé par Ram Seshadri, il…Auto-ViML est un outil conçu pour automatiser le processus de création de plusieurs modèles d'apprentissage automatique avec une seule ligne de code. Créé par Ram Seshadri, il…

Machine learning et data science
Voir le Top 250 Dépôts GitHub d'IA
1 sur 8