BitNet

Petals

AI GitHub 저장소

#102

사용자가 BitTorrent 스타일 접근 방식을 사용하여 집에서 대형 언어 모델(LLM)을 실행할 수 있도록 하는 오픈 소스 프로젝트입니다. 전통적인 오프로드 방법에 비해 더 빠른 파인 튜닝 및 추론을 제공합니다.Petals는 사용자가 BitTorrent 스타일 접근 방식을 사용하여 집에서 대형 언어 모델(LLM)을 실행할 수 있도록 하는 오픈 소스 프로젝트입니다. 전통적인 오프로드 방법에 비해 더 빠른 파인 튜닝 및 추론을 제공합니다.

MNN

AI GitHub 저장소

Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.MNN은 Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.

vLLM

AI GitHub 저장소

#23

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

Nano-vLLM

AI GitHub 저장소

Nano vLLM은 대형 언어 모델을 위한 경량 가상 머신 개발에 중점을 둔 GitHub 리포지토리입니다. 이 프로젝트는 추론 효율성과 자원 활용을 최적화하여 LLM을 다루는 AI 연구자와 개발자에게 적합합니다.

bitsandbytes

AI GitHub 저장소

PyTorch를 위한 k-bit 양자화를 통해 대형 언어 모델을 보다 접근 가능하게 만드는 데 중점을 둔 GitHub 프로젝트입니다. 이 프로젝트는 모델 성능을 최적화하고 계산 비용을 줄여 개발자가 대규모 AI 모델을 보다 쉽게 작업할 수 있도록 합니다.Bitsandbytes는 PyTorch를 위한 k-bit 양자화를 통해 대형 언어 모델을 보다 접근 가능하게 만드는 데 중점을 둔 GitHub 프로젝트입니다. 이 프로젝트는 모델 성능을 최적화하고 계산 비용을 줄여 개발자가 대규모 AI 모델을 보다 쉽게 작업할 수 있도록 합니다.

AirLLM

AI GitHub 저장소

#234

단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

WebLLM

AI GitHub 저장소

web-llm은 웹 환경 내에서 기계 학습 작업을 직접 수행할 수 있도록 설계된 고성능 브라우저 내 LLM 추론 엔진입니다. 개발자들이 GitHub를 통해 기여하고 기능을 향상시킬 수 있도록 합니다.

LLMs-from-scratch

AI GitHub 저장소

사용자가 PyTorch를 사용하여 ChatGPT와 유사한 언어 모델을 구현하는 방법을 안내하는 GitHub 프로젝트입니다. 이 프로젝트는 처음부터 대형 언어 모델을 구축하는 단계별 접근 방식을 제공하여 AI 및 머신러닝에 관심이 있는 개발자와 연구자에게 이상적입니다.LLMs-from-scratch는 사용자가 PyTorch를 사용하여 ChatGPT와 유사한 언어 모델을 구현하는 방법을 안내하는 GitHub 프로젝트입니다. 이 프로젝트는 처음부터 대형 언어 모델을 구축하는 단계별 접근 방식을 제공하여 AI 및 머신러닝에 관심이 있는 개발자와 연구자에게 이상적입니다.