Перейти к основному содержимому
ToolPotion
ИИ-советник
Отправить

minimind

minimind — это репозиторий с открытым исходным кодом на GitHub, предназначенный для помощи пользователям в обучении модели большого языка (LLM) с 64 миллионами параметров с нуля. Этот проект предоставляет необходимый код и ресурсы для достижения этой цели примерно за два часа, делая обучение LLM доступным для разработчиков и исследователей. Он включает компоненты для управления наборами данных, архитектуры модели и сценариев обучения.

Открыть репозиторий
Поделиться
Открыть репозиторий
Поделиться

minimind — это репозиторий на GitHub, который предлагает упрощенный подход к обучению модели большого языка (LLM) с 64 миллионами параметров с нуля. Проект разработан так, чтобы пользователи могли завершить этот интенсивный процесс обучения всего за два часа, предоставляя быстрый путь для экспериментов с разработкой LLM. Он служит ценным ресурсом для людей, стремящихся понять основные механизмы обучения LLM без необходимости в обширных вычислительных ресурсах или временных затратах.

Читать далее

Репозиторий структурирован с несколькими ключевыми компонентами, включая специальные директории для `dataset`, `images`, `model`, `scripts` и `trainer`. Эти компоненты облегчают создание комплексного процесса обучения, начиная с подготовки данных и определения модели и заканчивая выполнением и оценкой. Файл `README.md` предоставляет необходимую документацию, включая разъяснения о том, как интерпретировать кривые потерь политики GRPO, направляя пользователей через методологии проекта.

minimind активно поддерживается, недавние коммиты указывают на продолжающееся развитие и улучшения в различных модулях. Например, недавние обновления касаются форматирования пар предпочтений DPO, удаления избыточных комментариев в разделе модели и уточнения сценариев обучения. Проект также включает `eval_llm.py` для оценки модели и `requirements.txt` для управления зависимостями, обеспечивая плавный процесс настройки для пользователей.

Нацеленный на разработчиков, исследователей и энтузиастов ИИ, minimind демократизирует доступ к обучению LLM. Он предоставляет практический, практический опыт для тех, кто интересуется тонкостями создания и оптимизации больших языковых моделей. Акцент проекта на эффективности и доступности делает его отличной отправной точкой для изучения архитектуры LLM, парадигм обучения и оценки производительности.

  • КатегорияМашинное обучение и наука о данных
  • Модель ценообразованияОткрытый код
  • РазвёртываниеОблако, На своём сервере
  • ПлатформыВеб

  • Обучение LLM с 64 миллионами параметров с нуля

  • Быстрое время обучения — примерно 2 часа

  • Репозиторий с открытым исходным кодом на GitHub

  • Включает компоненты управления наборами данных

  • Предоставляет определения архитектуры модели

  • Содержит сценарии обучения

  • Имеет специальный модуль тренера

  • Включает сценарии оценки (`eval_llm.py`)

  • Управляет зависимостями через `requirements.txt`

  • Предлагает документацию по кривым потерь политики GRPO

  • Активно поддерживается с недавними обновлениями

  • Поддерживает форматирование пар предпочтений DPO

  • Вклад сообщества от 25 участников

  1. Клонируйте репозиторий: Получите файлы проекта, клонируя репозиторий minimind на ваш локальный компьютер.

  2. Установите зависимости: Перейдите в директорию проекта и установите все необходимые пакеты Python, указанные в `requirements.txt`.

  3. Подготовьте набор данных: Следуйте инструкциям в директории `dataset`, чтобы подготовить или получить необходимые данные для обучения.

  4. Настройте модель: Просмотрите и при необходимости отрегулируйте параметры и конфигурации модели в директории `model`.

  5. Запустите обучение: Выполните сценарии обучения, расположенные в директориях `scripts` или `trainer`, чтобы начать обучение LLM.

  6. Оцените LLM: Используйте `eval_llm.py` для оценки производительности и характеристик обученной языковой модели.

  • Эксперименты с обучением LLM
  • Образовательный ресурс
  • Оценка производительности
  • Быстрая прототипизация
  • Вклад в открытый исходный код

Отзывы о minimind

Загрузка...

Популярные ИИ-инструменты, похожие на minimind

Обучение LLM с нуля

AI-репозитории на GitHub

Обучение LLM с нуля предоставляет исчерпывающее руководство по обучению вашей собственной модели большого языка. Оно охватывает все, от получения данных до генерации текста, что…

ИИ-модели и LLM
Открыть инструмент

AI-репозитории на GitHub

Предоставляет исчерпывающее руководство по обучению вашей собственной модели большого языка. Оно охватывает все, от получения данных до генерации текста, что…Обучение LLM с нуля предоставляет исчерпывающее руководство по обучению вашей собственной модели большого языка. Оно охватывает все, от получения данных до генерации текста, что…

ИИ-модели и LLM
Топ-250: AI-репозитории на GitHub

LLMs-from-scratch

AI-репозитории на GitHub

LLMs-from-scratch — это проект на GitHub, который помогает пользователям реализовать языковую модель, подобную ChatGPT, с использованием PyTorch. Он предлагает пошаговый подход к…

ИИ-модели и LLM
Открыть инструмент

AI-репозитории на GitHub

Проект на GitHub, который помогает пользователям реализовать языковую модель, подобную ChatGPT, с использованием PyTorch. Он предлагает пошаговый подход к…LLMs-from-scratch — это проект на GitHub, который помогает пользователям реализовать языковую модель, подобную ChatGPT, с использованием PyTorch. Он предлагает пошаговый подход к…

ИИ-модели и LLM
Топ-250: AI-репозитории на GitHub

LlamaFactory

AI-репозитории на GitHub

LlamaFactory — это репозиторий на GitHub, сосредоточенный на унифицированной и эффективной донастройке более 100 больших языковых моделей (LLM) и моделей языка и зрения (VLM). Он…

Платформы машинного обучения

№13 в AI-репозитории на GitHub

Открыть инструмент

AI-репозитории на GitHub

Репозиторий на GitHub, сосредоточенный на унифицированной и эффективной донастройке более 100 больших языковых моделей (LLM) и моделей языка и зрения (VLM). Он…LlamaFactory — это репозиторий на GitHub, сосредоточенный на унифицированной и эффективной донастройке более 100 больших языковых моделей (LLM) и моделей языка и зрения (VLM). Он…

РекомендованоПлатформы машинного обучения
№13 в AI-репозитории на GitHub

vLLM

AI-репозитории на GitHub

vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

MLOps и развёртывание моделей

№23 в AI-репозитории на GitHub

Открыть инструмент

AI-репозитории на GitHub

Высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…vllm-project/vllm — это высокопроизводительный и экономичный по памяти движок вывода и обслуживания, разработанный для больших языковых моделей (LLM). Он оптимизирует…

РекомендованоMLOps и развёртывание моделей
№23 в AI-репозитории на GitHub

easy-dataset

AI-репозитории на GitHub

Easy-dataset — это инструмент, разработанный для упрощения создания наборов данных для тонкой настройки LLM, RAG и оценки. Он упрощает процесс подготовки данных, делая его…

Инструменты для промпт-инжиниринга

№215 в AI-репозитории на GitHub

Открыть инструмент

AI-репозитории на GitHub

Инструмент, разработанный для упрощения создания наборов данных для тонкой настройки LLM, RAG и оценки. Он упрощает процесс подготовки данных, делая его…Easy-dataset — это инструмент, разработанный для упрощения создания наборов данных для тонкой настройки LLM, RAG и оценки. Он упрощает процесс подготовки данных, делая его…

Инструменты для промпт-инжиниринга
№215 в AI-репозитории на GitHub

MLX LM

AI-репозитории на GitHub

MLX LM — это проект на GitHub, разработанный для упрощения работы с большими языковыми моделями (LLM) с использованием фреймворка MLX. Он позволяет разработчикам участвовать в его…

Платформы машинного обучения

№190 в AI-репозитории на GitHub

Открыть инструмент

AI-репозитории на GitHub

Проект на GitHub, разработанный для упрощения работы с большими языковыми моделями (LLM) с использованием фреймворка MLX. Он позволяет разработчикам участвовать в его…MLX LM — это проект на GitHub, разработанный для упрощения работы с большими языковыми моделями (LLM) с использованием фреймворка MLX. Он позволяет разработчикам участвовать в его…

Платформы машинного обучения
№190 в AI-репозитории на GitHub

autodistill

AI-репозитории на GitHub

Autodistill — это проект на GitHub, который позволяет выполнять вывод изображений без разметки, используя базовые модели для обучения контролируемых моделей. Он упрощает процесс…

Машинное обучение и наука о данных
Открыть инструмент

AI-репозитории на GitHub

Проект на GitHub, который позволяет выполнять вывод изображений без разметки, используя базовые модели для обучения контролируемых моделей. Он упрощает процесс…Autodistill — это проект на GitHub, который позволяет выполнять вывод изображений без разметки, используя базовые модели для обучения контролируемых моделей. Он упрощает процесс…

Машинное обучение и наука о данных
Топ-250: AI-репозитории на GitHub

Auto-ViML

AI-репозитории на GitHub

Auto-ViML — это инструмент, предназначенный для автоматизации процесса создания нескольких моделей машинного обучения всего одной строкой кода. Созданный Рамом Сешадри, он…

Машинное обучение и наука о данных
Открыть инструмент

AI-репозитории на GitHub

Инструмент, предназначенный для автоматизации процесса создания нескольких моделей машинного обучения всего одной строкой кода. Созданный Рамом Сешадри, он…Auto-ViML — это инструмент, предназначенный для автоматизации процесса создания нескольких моделей машинного обучения всего одной строкой кода. Созданный Рамом Сешадри, он…

Машинное обучение и наука о данных
Топ-250: AI-репозитории на GitHub
1 из 8