LLM architecture from scratch

LLMs-from-scratch

AI GitHub 저장소

사용자가 PyTorch를 사용하여 ChatGPT와 유사한 언어 모델을 구현하는 방법을 안내하는 GitHub 프로젝트입니다. 이 프로젝트는 처음부터 대형 언어 모델을 구축하는 단계별 접근 방식을 제공하여 AI 및 머신러닝에 관심이 있는 개발자와 연구자에게 이상적입니다.LLMs-from-scratch는 사용자가 PyTorch를 사용하여 ChatGPT와 유사한 언어 모델을 구현하는 방법을 안내하는 GitHub 프로젝트입니다. 이 프로젝트는 처음부터 대형 언어 모델을 구축하는 단계별 접근 방식을 제공하여 AI 및 머신러닝에 관심이 있는 개발자와 연구자에게 이상적입니다.

Happy LLM

AI GitHub 저장소

대규모 언어 모델을 처음부터 구축하기 위한 오픈 소스 프로젝트입니다. 개발자가 모델 개발에 기여하고 협력할 수 있는 리소스와 도구를 제공합니다.Happy LLM은 대규모 언어 모델을 처음부터 구축하기 위한 오픈 소스 프로젝트입니다. 개발자가 모델 개발에 기여하고 협력할 수 있는 리소스와 도구를 제공합니다.

llama.cpp

AI GitHub 저장소

C/C++에서 LLM 추론에 중점을 둔 GitHub 리포지토리입니다. 개발자들이 개발에 기여하고 기계 학습 애플리케이션을 위한 기능을 활용할 수 있도록 합니다.ggml-org/llama.cpp는 C/C++에서 LLM 추론에 중점을 둔 GitHub 리포지토리입니다. 개발자들이 개발에 기여하고 기계 학습 애플리케이션을 위한 기능을 활용할 수 있도록 합니다.

Petals

AI GitHub 저장소

#102

사용자가 BitTorrent 스타일 접근 방식을 사용하여 집에서 대형 언어 모델(LLM)을 실행할 수 있도록 하는 오픈 소스 프로젝트입니다. 전통적인 오프로드 방법에 비해 더 빠른 파인 튜닝 및 추론을 제공합니다.Petals는 사용자가 BitTorrent 스타일 접근 방식을 사용하여 집에서 대형 언어 모델(LLM)을 실행할 수 있도록 하는 오픈 소스 프로젝트입니다. 전통적인 오프로드 방법에 비해 더 빠른 파인 튜닝 및 추론을 제공합니다.

처음부터 LLM 훈련하기

AI GitHub 저장소

자체 대형 언어 모델을 훈련하는 포괄적인 가이드를 제공합니다. 데이터 수집부터 텍스트 생성까지 모든 내용을 다루어, 맞춤형 AI 모델 구축에 관심이 있는 개발자에게 필수적인 자료입니다.처음부터 LLM 훈련하기는 자체 대형 언어 모델을 훈련하는 포괄적인 가이드를 제공합니다. 데이터 수집부터 텍스트 생성까지 모든 내용을 다루어, 맞춤형 AI 모델 구축에 관심이 있는 개발자에게 필수적인 자료입니다.

Ling

AI GitHub 저장소

Ant Group의 inclusionAI에서 개발한 오픈 소스 혼합 전문가 언어 모델 패밀리로, MIT 라이선스 하에 GitHub에서 공개되었습니다. 일반 채팅, 코딩 및 추론 작업을 위해 여러 크기로 제공되며, 오픈 LLM을 직접 실행하거나 미세 조정하고자 하는 연구자 및 개발자를 대상으로 합니다.Ling은 Ant Group의 inclusionAI에서 개발한 오픈 소스 혼합 전문가 언어 모델 패밀리로, MIT 라이선스 하에 GitHub에서 공개되었습니다. 일반 채팅, 코딩 및 추론 작업을 위해 여러 크기로 제공되며, 오픈 LLM을 직접 실행하거나 미세 조정하고자 하는 연구자 및 개발자를 대상으로 합니다.

FlashInfer

AI GitHub 저장소

대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.FlashInfer는 대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.

OpenLLaMA

AI GitHub 저장소

Meta AI의 LLaMA 7B 모델을 허용 가능한 라이선스로 재현한 오픈 소스 모델입니다. RedPajama 데이터셋으로 학습되었으며, 3B, 7B, 13B 파라미터 버전을 제공하고 PyTorch 및 JAX 가중치를 통해 기존 LLaMA 구현에 원활하게 통합할 수 있습니다.OpenLLaMA는 Meta AI의 LLaMA 7B 모델을 허용 가능한 라이선스로 재현한 오픈 소스 모델입니다. RedPajama 데이터셋으로 학습되었으며, 3B, 7B, 13B 파라미터 버전을 제공하고 PyTorch 및 JAX 가중치를 통해 기존 LLaMA 구현에 원활하게 통합할 수 있습니다.