Saltar al contenido principal
ToolPotion
Asesor de IA
Enviar

minimind

minimind es un repositorio de GitHub de código abierto diseñado para ayudar a los usuarios a entrenar un Modelo de Lenguaje de 64 millones de parámetros (LLM) desde cero. Este proyecto proporciona el código y los recursos necesarios para lograrlo en aproximadamente dos horas, haciendo que el entrenamiento avanzado de LLM sea accesible para desarrolladores e investigadores. Incluye componentes para la gestión de conjuntos de datos, arquitectura del modelo y scripts de entrenamiento.

Ver repositorio
Compartir
Ver repositorio
Compartir

minimind es un repositorio de GitHub que ofrece un enfoque simplificado para entrenar un Modelo de Lenguaje de 64 millones de parámetros (LLM) desde cero. El proyecto está diseñado para permitir a los usuarios completar este intensivo proceso de entrenamiento en tan solo dos horas, proporcionando un acceso rápido para experimentar con el desarrollo de LLM. Sirve como un recurso valioso para individuos que buscan entender la mecánica básica del entrenamiento de LLM sin necesidad de recursos computacionales extensos o compromisos de tiempo.

Leer más

El repositorio está estructurado con varios componentes clave, incluyendo directorios dedicados para `dataset`, `images`, `model`, `scripts` y `trainer`. Estos componentes facilitan un pipeline de entrenamiento integral, desde la preparación de datos y la definición del modelo hasta la ejecución y evaluación. El archivo `README.md` proporciona documentación esencial, incluyendo aclaraciones sobre cómo interpretar las curvas de pérdida de política GRPO, guiando a los usuarios a través de las metodologías del proyecto.

minimind se mantiene activamente, con commits recientes que indican un desarrollo y mejoras continuas en varios módulos. Por ejemplo, las actualizaciones recientes abordan el formato de pares de preferencias DPO, eliminan comentarios redundantes en la sección del modelo y refinan los scripts de entrenamiento. El proyecto también incluye `eval_llm.py` para la evaluación del modelo y `requirements.txt` para gestionar dependencias, asegurando un proceso de configuración fluido para los usuarios.

Dirigido a desarrolladores, investigadores y entusiastas de la IA, minimind democratiza el acceso al entrenamiento de LLM. Proporciona una experiencia práctica y directa para aquellos interesados en las complejidades de construir y optimizar modelos de lenguaje grandes. El énfasis del proyecto en la eficiencia y accesibilidad lo convierte en un excelente punto de partida para aprender sobre la arquitectura de LLM, paradigmas de entrenamiento y evaluación del rendimiento.

  • CategoríaAprendizaje automático y ciencia de datos
  • Modelo de preciosCódigo abierto
  • ImplementaciónNube, Autoalojado
  • PlataformasWeb

  • Entrenar un LLM de 64 millones de parámetros desde cero

  • Tiempo de entrenamiento rápido de aproximadamente 2 horas

  • Repositorio de GitHub de código abierto

  • Incluye componentes para la gestión de conjuntos de datos

  • Proporciona definiciones de arquitectura del modelo

  • Contiene scripts de entrenamiento

  • Cuenta con un módulo de entrenador dedicado

  • Incluye scripts de evaluación (`eval_llm.py`)

  • Gestiona dependencias a través de `requirements.txt`

  • Ofrece documentación sobre las curvas de pérdida de política GRPO

  • Mantenido activamente con actualizaciones recientes

  • Soporta el formato de pares de preferencias DPO

  • Contribuciones de la comunidad de 25 colaboradores

  1. Clonar el repositorio: Obtén los archivos del proyecto clonando el repositorio de GitHub de minimind en tu máquina local.

  2. Instalar dependencias: Navega al directorio del proyecto e instala todos los paquetes de Python requeridos listados en `requirements.txt`.

  3. Preparar el conjunto de datos: Sigue las instrucciones dentro del directorio `dataset` para preparar o adquirir los datos necesarios para el entrenamiento.

  4. Configurar el modelo: Revisa y ajusta los parámetros y configuraciones del modelo dentro del directorio `model` según sea necesario.

  5. Ejecutar el entrenamiento: Ejecuta los scripts de entrenamiento ubicados en los directorios `scripts` o `trainer` para comenzar el entrenamiento del LLM.

  6. Evaluar el LLM: Utiliza `eval_llm.py` para evaluar el rendimiento y las características del modelo de lenguaje entrenado.

  • Experimentación en Entrenamiento de LLM
  • Recurso Educativo
  • Evaluación de Rendimiento
  • Prototipado Rápido
  • Contribución de Código Abierto

Reseñas de minimind

Cargando...

Herramientas de IA populares como minimind

Entrenar LLM desde Cero

Repositorios de IA en GitHub

Entrenar LLM desde Cero proporciona una guía completa para entrenar tu propio modelo de lenguaje grande. Cubre todo, desde la adquisición de datos hasta la generación de texto,…

Modelos de IA y LLM
Ver herramienta

Repositorios de IA en GitHub

Proporciona una guía completa para entrenar tu propio modelo de lenguaje grande. Cubre todo, desde la adquisición de datos hasta la generación de texto,…Entrenar LLM desde Cero proporciona una guía completa para entrenar tu propio modelo de lenguaje grande. Cubre todo, desde la adquisición de datos hasta la generación de texto,…

Modelos de IA y LLM
Ver el Top 250 de Repositorios de IA en GitHub

LLMs-from-scratch

Repositorios de IA en GitHub

LLMs-from-scratch es un proyecto de GitHub que guía a los usuarios en la implementación de un modelo de lenguaje similar a ChatGPT utilizando PyTorch. Proporciona un enfoque paso…

Modelos de IA y LLM
Ver herramienta

Repositorios de IA en GitHub

Proyecto de GitHub que guía a los usuarios en la implementación de un modelo de lenguaje similar a ChatGPT utilizando PyTorch. Proporciona un enfoque paso…LLMs-from-scratch es un proyecto de GitHub que guía a los usuarios en la implementación de un modelo de lenguaje similar a ChatGPT utilizando PyTorch. Proporciona un enfoque paso…

Modelos de IA y LLM
Ver el Top 250 de Repositorios de IA en GitHub

LlamaFactory

Repositorios de IA en GitHub

LlamaFactory es un repositorio de GitHub centrado en el ajuste fino unificado y eficiente de más de 100 modelos de lenguaje grande (LLMs) y modelos de lenguaje-visión (VLMs). Su…

Plataformas de aprendizaje automático

N.º 13 en Repositorios de IA en GitHub

Ver herramienta

Repositorios de IA en GitHub

Repositorio de GitHub centrado en el ajuste fino unificado y eficiente de más de 100 modelos de lenguaje grande (LLMs) y modelos de lenguaje-visión (VLMs). Su…LlamaFactory es un repositorio de GitHub centrado en el ajuste fino unificado y eficiente de más de 100 modelos de lenguaje grande (LLMs) y modelos de lenguaje-visión (VLMs). Su…

DestacadaPlataformas de aprendizaje automático
N.º 13 en Repositorios de IA en GitHub

vLLM

Repositorios de IA en GitHub

vllm-project/vllm es un motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…

MLOps y despliegue de modelos

N.º 22 en Repositorios de IA en GitHub

Ver herramienta

Repositorios de IA en GitHub

Motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…vllm-project/vllm es un motor de inferencia y servicio de alto rendimiento y eficiente en memoria diseñado para grandes modelos de lenguaje (LLMs). Optimiza el rendimiento…

DestacadaMLOps y despliegue de modelos
N.º 22 en Repositorios de IA en GitHub

easy-dataset

Repositorios de IA en GitHub

Easy-dataset es una herramienta diseñada para agilizar la creación de conjuntos de datos para el ajuste fino de LLM, RAG y evaluación. Simplifica el proceso de preparación de…

Herramientas de ingeniería de prompts

N.º 212 en Repositorios de IA en GitHub

Ver herramienta

Repositorios de IA en GitHub

Herramienta diseñada para agilizar la creación de conjuntos de datos para el ajuste fino de LLM, RAG y evaluación. Simplifica el proceso de preparación de…Easy-dataset es una herramienta diseñada para agilizar la creación de conjuntos de datos para el ajuste fino de LLM, RAG y evaluación. Simplifica el proceso de preparación de…

Herramientas de ingeniería de prompts
N.º 212 en Repositorios de IA en GitHub

MLX LM

Repositorios de IA en GitHub

MLX LM es un proyecto de GitHub diseñado para facilitar la ejecución de modelos de lenguaje grandes (LLMs) utilizando el marco MLX. Permite a los desarrolladores contribuir a su…

Plataformas de aprendizaje automático

N.º 187 en Repositorios de IA en GitHub

Ver herramienta

Repositorios de IA en GitHub

Proyecto de GitHub diseñado para facilitar la ejecución de modelos de lenguaje grandes (LLMs) utilizando el marco MLX. Permite a los desarrolladores contribuir a su…MLX LM es un proyecto de GitHub diseñado para facilitar la ejecución de modelos de lenguaje grandes (LLMs) utilizando el marco MLX. Permite a los desarrolladores contribuir a su…

Plataformas de aprendizaje automático
N.º 187 en Repositorios de IA en GitHub

autodistill

Repositorios de IA en GitHub

Autodistill es un proyecto de GitHub que permite la inferencia de imágenes sin etiquetado utilizando modelos base para entrenar modelos supervisados. Simplifica el proceso de…

Aprendizaje automático y ciencia de datos
Ver herramienta

Repositorios de IA en GitHub

Proyecto de GitHub que permite la inferencia de imágenes sin etiquetado utilizando modelos base para entrenar modelos supervisados. Simplifica el proceso de…Autodistill es un proyecto de GitHub que permite la inferencia de imágenes sin etiquetado utilizando modelos base para entrenar modelos supervisados. Simplifica el proceso de…

Aprendizaje automático y ciencia de datos
Ver el Top 250 de Repositorios de IA en GitHub

Auto-ViML

Repositorios de IA en GitHub

Auto-ViML es una herramienta diseñada para automatizar el proceso de construcción de múltiples modelos de aprendizaje automático con solo una línea de código. Creada por Ram…

Aprendizaje automático y ciencia de datos
Ver herramienta

Repositorios de IA en GitHub

Herramienta diseñada para automatizar el proceso de construcción de múltiples modelos de aprendizaje automático con solo una línea de código. Creada por Ram…Auto-ViML es una herramienta diseñada para automatizar el proceso de construcción de múltiples modelos de aprendizaje automático con solo una línea de código. Creada por Ram…

Aprendizaje automático y ciencia de datos
Ver el Top 250 de Repositorios de IA en GitHub
1 de 8