Pular para o conteúdo principal
ToolPotion
Consultor de IA
Enviar

minimind

minimind é um repositório de código aberto no GitHub projetado para ajudar os usuários a treinar um Modelo de Linguagem de Grande Escala (LLM) com 64 milhões de parâmetros do zero. Este projeto fornece o código e os recursos necessários para alcançar isso em aproximadamente duas horas, tornando o treinamento avançado de LLM acessível para desenvolvedores e pesquisadores. Inclui componentes para gerenciamento de conjuntos de dados, arquitetura de modelo e scripts de treinamento.

Ver repositório
Compartilhar
Ver repositório
Compartilhar

minimind é um repositório do GitHub que oferece uma abordagem simplificada para treinar um Modelo de Linguagem de Grande Escala (LLM) com 64 milhões de parâmetros desde o início. O projeto é projetado para permitir que os usuários completem esse processo intensivo de treinamento em apenas duas horas, proporcionando um caminho rápido para experimentar o desenvolvimento de LLM. Serve como um recurso valioso para indivíduos que desejam entender a mecânica central do treinamento de LLM sem a necessidade de recursos computacionais extensivos ou compromissos de tempo.

Ler mais

O repositório é estruturado com vários componentes-chave, incluindo diretórios dedicados para `dataset`, `images`, `model`, `scripts` e `trainer`. Esses componentes facilitam um pipeline de treinamento abrangente, desde a preparação de dados e definição de modelo até execução e avaliação. O arquivo `README.md` fornece documentação essencial, incluindo esclarecimentos sobre como interpretar curvas de perda da política GRPO, guiando os usuários através das metodologias do projeto.

minimind é mantido ativamente, com commits recentes indicando desenvolvimento e melhorias contínuas em vários módulos. Por exemplo, atualizações recentes abordam a formatação de pares de preferência DPO, eliminam comentários redundantes na seção do modelo e refinam os scripts de treinamento. O projeto também inclui `eval_llm.py` para avaliação de modelo e `requirements.txt` para gerenciar dependências, garantindo um processo de configuração suave para os usuários.

Voltado para desenvolvedores, pesquisadores e entusiastas de IA, minimind democratiza o acesso ao treinamento de LLM. Proporciona uma experiência prática e direta para aqueles interessados nas complexidades de construir e otimizar grandes modelos de linguagem. A ênfase do projeto na eficiência e acessibilidade o torna um excelente ponto de partida para aprender sobre arquitetura de LLM, paradigmas de treinamento e avaliação de desempenho.

  • CategoriaMachine learning e ciência de dados
  • Modelo de preçosCódigo aberto
  • ImplantaçãoNuvem, Auto-hospedado
  • PlataformasWeb

  • Treine LLM com 64 milhões de parâmetros do zero

  • Tempo de treinamento rápido de aproximadamente 2 horas

  • Repositório de código aberto no GitHub

  • Inclui componentes de gerenciamento de conjuntos de dados

  • Fornece definições de arquitetura de modelo

  • Contém scripts de treinamento

  • Possui um módulo de treinamento dedicado

  • Inclui scripts de avaliação (`eval_llm.py`)

  • Gerencia dependências através de `requirements.txt`

  • Oferece documentação sobre curvas de perda da política GRPO

  • Mantido ativamente com atualizações recentes

  • Suporta formatação de pares de preferência DPO

  • Contribuições da comunidade de 25 colaboradores

  1. Clone o repositório: Obtenha os arquivos do projeto clonando o repositório minimind do GitHub para sua máquina local.

  2. Instale as dependências: Navegue até o diretório do projeto e instale todos os pacotes Python necessários listados em `requirements.txt`.

  3. Prepare o conjunto de dados: Siga as instruções dentro do diretório `dataset` para preparar ou adquirir os dados necessários para o treinamento.

  4. Configure o modelo: Revise e ajuste os parâmetros e configurações do modelo dentro do diretório `model` conforme necessário.

  5. Execute o treinamento: Execute os scripts de treinamento localizados nos diretórios `scripts` ou `trainer` para iniciar o treinamento do LLM.

  6. Avalie o LLM: Utilize `eval_llm.py` para avaliar o desempenho e as características do modelo de linguagem treinado.

  • Experimentação de Treinamento de LLM
  • Recurso Educacional
  • Benchmarking de Desempenho
  • Prototipagem Rápida
  • Contribuição de Código Aberto

Avaliações de minimind

Carregando...

Ferramentas de IA populares como minimind

Treine LLM do Zero

Repositórios de IA no GitHub

Treine LLM do Zero fornece um guia abrangente para treinar seu próprio modelo de linguagem grande. Cobre tudo, desde a aquisição de dados até a geração de texto, tornando-se um…

Modelos de IA e LLMs
Ver ferramenta

Repositórios de IA no GitHub

Fornece um guia abrangente para treinar seu próprio modelo de linguagem grande. Cobre tudo, desde a aquisição de dados até a geração de texto, tornando-se um…Treine LLM do Zero fornece um guia abrangente para treinar seu próprio modelo de linguagem grande. Cobre tudo, desde a aquisição de dados até a geração de texto, tornando-se um…

Modelos de IA e LLMs
Ver o Top 250 de Repositórios de IA no GitHub

LLMs-from-scratch

Repositórios de IA no GitHub

LLMs-from-scratch é um projeto no GitHub que orienta os usuários na implementação de um modelo de linguagem semelhante ao ChatGPT usando PyTorch. Ele fornece uma abordagem passo a…

Modelos de IA e LLMs
Ver ferramenta

Repositórios de IA no GitHub

Projeto no GitHub que orienta os usuários na implementação de um modelo de linguagem semelhante ao ChatGPT usando PyTorch. Ele fornece uma abordagem passo a…LLMs-from-scratch é um projeto no GitHub que orienta os usuários na implementação de um modelo de linguagem semelhante ao ChatGPT usando PyTorch. Ele fornece uma abordagem passo a…

Modelos de IA e LLMs
Ver o Top 250 de Repositórios de IA no GitHub

LlamaFactory

Repositórios de IA no GitHub

LlamaFactory é um repositório do GitHub focado no ajuste fino unificado e eficiente de mais de 100 modelos de linguagem de grande porte (LLMs) e modelos de linguagem-visual…

Plataformas de machine learning

Nº 13 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Repositório do GitHub focado no ajuste fino unificado e eficiente de mais de 100 modelos de linguagem de grande porte (LLMs) e modelos de linguagem-visual…LlamaFactory é um repositório do GitHub focado no ajuste fino unificado e eficiente de mais de 100 modelos de linguagem de grande porte (LLMs) e modelos de linguagem-visual…

DestaquePlataformas de machine learning
Nº 13 em Repositórios de IA no GitHub

vLLM

Repositórios de IA no GitHub

vllm-project/vllm é um motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…

MLOps e implantação de modelos

Nº 23 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…vllm-project/vllm é um motor de inferência e serviço de alto desempenho e eficiente em memória, projetado para grandes modelos de linguagem (LLMs). Ele otimiza o desempenho…

DestaqueMLOps e implantação de modelos
Nº 23 em Repositórios de IA no GitHub

easy-dataset

Repositórios de IA no GitHub

Easy-dataset é uma ferramenta projetada para simplificar a criação de conjuntos de dados para ajuste fino de LLM, RAG e avaliação. Ela torna o processo de preparação de dados…

Ferramentas de engenharia de prompts

Nº 215 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Ferramenta projetada para simplificar a criação de conjuntos de dados para ajuste fino de LLM, RAG e avaliação. Ela torna o processo de preparação de dados…Easy-dataset é uma ferramenta projetada para simplificar a criação de conjuntos de dados para ajuste fino de LLM, RAG e avaliação. Ela torna o processo de preparação de dados…

Ferramentas de engenharia de prompts
Nº 215 em Repositórios de IA no GitHub

MLX LM

Repositórios de IA no GitHub

MLX LM é um projeto no GitHub projetado para facilitar a execução de grandes modelos de linguagem (LLMs) usando a estrutura MLX. Permite que desenvolvedores contribuam para seu…

Plataformas de machine learning

Nº 190 em Repositórios de IA no GitHub

Ver ferramenta

Repositórios de IA no GitHub

Projeto no GitHub projetado para facilitar a execução de grandes modelos de linguagem (LLMs) usando a estrutura MLX. Permite que desenvolvedores contribuam para seu…MLX LM é um projeto no GitHub projetado para facilitar a execução de grandes modelos de linguagem (LLMs) usando a estrutura MLX. Permite que desenvolvedores contribuam para seu…

Plataformas de machine learning
Nº 190 em Repositórios de IA no GitHub

autodistill

Repositórios de IA no GitHub

Autodistill é um projeto do GitHub que permite a inferência de imagens sem rotulagem, utilizando modelos fundamentais para treinar modelos supervisionados. Ele simplifica o…

Machine learning e ciência de dados
Ver ferramenta

Repositórios de IA no GitHub

Projeto do GitHub que permite a inferência de imagens sem rotulagem, utilizando modelos fundamentais para treinar modelos supervisionados. Ele simplifica o…Autodistill é um projeto do GitHub que permite a inferência de imagens sem rotulagem, utilizando modelos fundamentais para treinar modelos supervisionados. Ele simplifica o…

Machine learning e ciência de dados
Ver o Top 250 de Repositórios de IA no GitHub

Auto-ViML

Repositórios de IA no GitHub

Auto-ViML é uma ferramenta projetada para automatizar o processo de construção de múltiplos modelos de aprendizado de máquina com apenas uma linha de código. Criada por Ram…

Machine learning e ciência de dados
Ver ferramenta

Repositórios de IA no GitHub

Ferramenta projetada para automatizar o processo de construção de múltiplos modelos de aprendizado de máquina com apenas uma linha de código. Criada por Ram…Auto-ViML é uma ferramenta projetada para automatizar o processo de construção de múltiplos modelos de aprendizado de máquina com apenas uma linha de código. Criada por Ram…

Machine learning e ciência de dados
Ver o Top 250 de Repositórios de IA no GitHub
1 de 8