跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

minimind

minimind是一个开源的GitHub仓库,旨在帮助用户从零开始训练一个64M参数的大型语言模型(LLM)。该项目提供了必要的代码和资源,使得在大约两个小时内完成这一过程成为可能,从而使开发者和研究人员能够轻松进行高级LLM训练。它包括数据集管理、模型架构和训练脚本等组件。

查看仓库
分享
查看仓库
分享

minimind是一个GitHub仓库,提供了一种简化的方法来从头开始训练一个64百万参数的大型语言模型(LLM)。该项目旨在使用户能够在短短两个小时内完成这一密集的训练过程,为实验LLM开发提供了快速通道。它为希望了解LLM训练核心机制的个人提供了宝贵的资源,而无需大量的计算资源或时间投入。

阅读更多

该仓库结构包含几个关键组件,包括专门的目录用于`dataset`、`images`、`model`、`scripts`和`trainer`。这些组件促进了一个全面的训练流程,从数据准备和模型定义到执行和评估。`README.md`文件提供了必要的文档,包括如何解读GRPO政策损失曲线的说明,引导用户了解项目的方法论。

minimind正在积极维护,最近的提交表明各个模块的持续开发和改进。例如,最近的更新解决了DPO偏好对格式化、修剪模型部分的冗余注释,并优化了训练脚本。该项目还包括`eval_llm.py`用于模型评估,以及`requirements.txt`来管理依赖项,确保用户的顺利设置过程。

面向开发者、研究人员和AI爱好者,minimind使LLM训练的访问变得民主化。它为那些对构建和优化大型语言模型的复杂性感兴趣的人提供了一个实用的、动手的体验。该项目对效率和可访问性的强调使其成为学习LLM架构、训练范式和性能评估的绝佳起点。

  • 类别机器学习与数据科学
  • 定价模式开源
  • 部署云端, 自托管
  • 平台网页版

  • 从零开始训练64M参数的LLM

  • 大约2小时的快速训练时间

  • 开源GitHub仓库

  • 包括数据集管理组件

  • 提供模型架构定义

  • 包含训练脚本

  • 具有专门的训练模块

  • 包括评估脚本(`eval_llm.py`)

  • 通过`requirements.txt`管理依赖项

  • 提供关于GRPO政策损失曲线的文档

  • 积极维护并有最近更新

  • 支持DPO偏好对格式化

  • 来自25位贡献者的社区贡献

  1. 克隆仓库:通过将minimind GitHub仓库克隆到本地计算机来获取项目文件。

  2. 安装依赖项:导航到项目目录并安装`requirements.txt`中列出的所有所需Python包。

  3. 准备数据集:按照`dataset`目录中的说明准备或获取训练所需的数据。

  4. 配置模型:根据需要查看和调整`model`目录中的模型参数和配置。

  5. 执行训练:运行位于`scripts`或`trainer`目录中的训练脚本以开始LLM训练。

  6. 评估LLM:利用`eval_llm.py`评估训练语言模型的性能和特征。

  • LLM训练实验
  • 教育资源
  • 性能基准测试
  • 快速原型开发
  • 开源贡献

minimind 评价

加载中...

与 minimind 类似的热门AI工具

从零开始训练LLM

AI GitHub 仓库

从零开始训练LLM提供了一个全面的指南,帮助您训练自己的大型语言模型。它涵盖了从数据获取到文本生成的所有内容,是开发者构建自定义AI模型的重要资源。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

提供了一个全面的指南,帮助您训练自己的大型语言模型。它涵盖了从数据获取到文本生成的所有内容,是开发者构建自定义AI模型的重要资源。从零开始训练LLM提供了一个全面的指南,帮助您训练自己的大型语言模型。它涵盖了从数据获取到文本生成的所有内容,是开发者构建自定义AI模型的重要资源。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

LLMs-from-scratch

AI GitHub 仓库

LLMs-from-scratch 是一个 GitHub 项目,指导用户使用 PyTorch 实现类似 ChatGPT 的语言模型。它提供了从零开始构建大型语言模型的逐步方法,非常适合对人工智能和机器学习感兴趣的开发者和研究人员。

AI 模型与大语言模型
查看工具

AI GitHub 仓库

GitHub 项目,指导用户使用 PyTorch 实现类似 ChatGPT 的语言模型。它提供了从零开始构建大型语言模型的逐步方法,非常适合对人工智能和机器学习感兴趣的开发者和研究人员。LLMs-from-scratch 是一个 GitHub 项目,指导用户使用 PyTorch 实现类似 ChatGPT 的语言模型。它提供了从零开始构建大型语言模型的逐步方法,非常适合对人工智能和机器学习感兴趣的开发者和研究人员。

AI 模型与大语言模型
查看 AI GitHub 仓库 Top 250

LlamaFactory

AI GitHub 仓库

LlamaFactory是一个GitHub仓库,专注于对100多种大型语言模型(LLMs)和视觉语言模型(VLMs)进行统一和高效的微调。它旨在简化AI领域研究人员和开发人员的微调过程。

机器学习平台

AI GitHub 仓库 排名第 13 位

查看工具

AI GitHub 仓库

GitHub仓库,专注于对100多种大型语言模型(LLMs)和视觉语言模型(VLMs)进行统一和高效的微调。它旨在简化AI领域研究人员和开发人员的微调过程。LlamaFactory是一个GitHub仓库,专注于对100多种大型语言模型(LLMs)和视觉语言模型(VLMs)进行统一和高效的微调。它旨在简化AI领域研究人员和开发人员的微调过程。

精选机器学习平台
AI GitHub 仓库 排名第 13 位

vLLM

AI GitHub 仓库

vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。

MLOps 与模型部署

AI GitHub 仓库 排名第 22 位

查看工具

AI GitHub 仓库

高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。

精选MLOps 与模型部署
AI GitHub 仓库 排名第 22 位

easy-dataset

AI GitHub 仓库

Easy-dataset 是一个旨在简化 LLM 微调、RAG 和评估数据集创建的工具。它简化了数据准备过程,使开发者和研究人员能够更轻松地处理大型语言模型。

提示词工程工具

AI GitHub 仓库 排名第 212 位

查看工具

AI GitHub 仓库

旨在简化 LLM 微调、RAG 和评估数据集创建的工具。它简化了数据准备过程,使开发者和研究人员能够更轻松地处理大型语言模型。Easy-dataset 是一个旨在简化 LLM 微调、RAG 和评估数据集创建的工具。它简化了数据准备过程,使开发者和研究人员能够更轻松地处理大型语言模型。

提示词工程工具
AI GitHub 仓库 排名第 212 位

MLX LM

AI GitHub 仓库

MLX LM是一个GitHub项目,旨在利用MLX框架简化大型语言模型(LLMs)的运行。它允许开发者参与其开发并增强其功能。

机器学习平台

AI GitHub 仓库 排名第 187 位

查看工具

AI GitHub 仓库

GitHub项目,旨在利用MLX框架简化大型语言模型(LLMs)的运行。它允许开发者参与其开发并增强其功能。MLX LM是一个GitHub项目,旨在利用MLX框架简化大型语言模型(LLMs)的运行。它允许开发者参与其开发并增强其功能。

机器学习平台
AI GitHub 仓库 排名第 187 位

autodistill

AI GitHub 仓库

Autodistill是一个GitHub项目,通过使用基础模型训练监督模型,实现无标签的图像推断。它通过自动化训练阶段简化了创建AI模型的过程,使开发者和研究人员更易于使用。

机器学习与数据科学
查看工具

AI GitHub 仓库

GitHub项目,通过使用基础模型训练监督模型,实现无标签的图像推断。它通过自动化训练阶段简化了创建AI模型的过程,使开发者和研究人员更易于使用。Autodistill是一个GitHub项目,通过使用基础模型训练监督模型,实现无标签的图像推断。它通过自动化训练阶段简化了创建AI模型的过程,使开发者和研究人员更易于使用。

机器学习与数据科学
查看 AI GitHub 仓库 Top 250

Auto-ViML

AI GitHub 仓库

Auto-ViML 是一个旨在通过一行代码自动化构建多个机器学习模型的工具。由 Ram Seshadri 创建,欢迎合作,并在请求时提供权限。

机器学习与数据科学
查看工具

AI GitHub 仓库

旨在通过一行代码自动化构建多个机器学习模型的工具。由 Ram Seshadri 创建,欢迎合作,并在请求时提供权限。Auto-ViML 是一个旨在通过一行代码自动化构建多个机器学习模型的工具。由 Ram Seshadri 创建,欢迎合作,并在请求时提供权限。

机器学习与数据科学
查看 AI GitHub 仓库 Top 250
1/8