Nano-vLLM

vLLM

AI GitHub 저장소

#23

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

Petals

AI GitHub 저장소

#102

사용자가 BitTorrent 스타일 접근 방식을 사용하여 집에서 대형 언어 모델(LLM)을 실행할 수 있도록 하는 오픈 소스 프로젝트입니다. 전통적인 오프로드 방법에 비해 더 빠른 파인 튜닝 및 추론을 제공합니다.Petals는 사용자가 BitTorrent 스타일 접근 방식을 사용하여 집에서 대형 언어 모델(LLM)을 실행할 수 있도록 하는 오픈 소스 프로젝트입니다. 전통적인 오프로드 방법에 비해 더 빠른 파인 튜닝 및 추론을 제공합니다.

AirLLM

AI GitHub 저장소

#234

단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

LLMs-from-scratch

AI GitHub 저장소

사용자가 PyTorch를 사용하여 ChatGPT와 유사한 언어 모델을 구현하는 방법을 안내하는 GitHub 프로젝트입니다. 이 프로젝트는 처음부터 대형 언어 모델을 구축하는 단계별 접근 방식을 제공하여 AI 및 머신러닝에 관심이 있는 개발자와 연구자에게 이상적입니다.LLMs-from-scratch는 사용자가 PyTorch를 사용하여 ChatGPT와 유사한 언어 모델을 구현하는 방법을 안내하는 GitHub 프로젝트입니다. 이 프로젝트는 처음부터 대형 언어 모델을 구축하는 단계별 접근 방식을 제공하여 AI 및 머신러닝에 관심이 있는 개발자와 연구자에게 이상적입니다.

Happy LLM

AI GitHub 저장소

대규모 언어 모델을 처음부터 구축하기 위한 오픈 소스 프로젝트입니다. 개발자가 모델 개발에 기여하고 협력할 수 있는 리소스와 도구를 제공합니다.Happy LLM은 대규모 언어 모델을 처음부터 구축하기 위한 오픈 소스 프로젝트입니다. 개발자가 모델 개발에 기여하고 협력할 수 있는 리소스와 도구를 제공합니다.

Xinference

AI GitHub 저장소

#97

사용자가 단 한 줄의 코드 변경으로 GPT를 모든 LLM으로 교체할 수 있게 해주는 다목적 추론 API입니다. 오픈 소스, 음성 및 다중 모달 모델을 지원하며, 클라우드, 온프레미스 또는 로컬 머신에 배포할 수 있습니다.Xinference는 사용자가 단 한 줄의 코드 변경으로 GPT를 모든 LLM으로 교체할 수 있게 해주는 다목적 추론 API입니다. 오픈 소스, 음성 및 다중 모달 모델을 지원하며, 클라우드, 온프레미스 또는 로컬 머신에 배포할 수 있습니다.

MiniCPM5: 온디바이스 LLM

AI GitHub 저장소

OpenBMB에서 개발한 고급 온디바이스 언어 모델입니다. 컴팩트한 크기를 유지하면서 최첨단 성능을 제공하여, 효율적인 처리가 필요한 애플리케이션에 적합합니다.MiniCPM5는 OpenBMB에서 개발한 고급 온디바이스 언어 모델입니다. 컴팩트한 크기를 유지하면서 최첨단 성능을 제공하여, 효율적인 처리가 필요한 애플리케이션에 적합합니다.

llama.cpp

AI GitHub 저장소

C/C++에서 LLM 추론에 중점을 둔 GitHub 리포지토리입니다. 개발자들이 개발에 기여하고 기계 학습 애플리케이션을 위한 기능을 활용할 수 있도록 합니다.ggml-org/llama.cpp는 C/C++에서 LLM 추론에 중점을 둔 GitHub 리포지토리입니다. 개발자들이 개발에 기여하고 기계 학습 애플리케이션을 위한 기능을 활용할 수 있도록 합니다.