AirLLM

vLLM

AI GitHub 저장소

#23

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

Soup

AI GitHub 저장소

수프는 단일 YAML 파일을 사용하여 대형 언어 모델(LLM)의 미세 조정을 가능하게 하는 GitHub 리포지토리입니다. 레이어 스트리밍을 활용하여 4GB 노트북 GPU에서 80억 개의 매개변수를 가진 모델을 훈련시켜, 제한된 하드웨어에서 고급 AI 모델 훈련을 접근 가능하게 합니다.

PowerInfer

AI GitHub 저장소

#202

로컬 배포를 위해 설계된 고속 대형 언어 모델 서비스 도구입니다. 이는 대형 언어 모델의 효율적이고 신속한 추론을 가능하게 하여 AI 솔루션을 로컬에서 구현하려는 개발자와 연구자에게 적합합니다.PowerInfer는 로컬 배포를 위해 설계된 고속 대형 언어 모델 서비스 도구입니다. 이는 대형 언어 모델의 효율적이고 신속한 추론을 가능하게 하여 AI 솔루션을 로컬에서 구현하려는 개발자와 연구자에게 적합합니다.

FlashInfer

AI GitHub 저장소

대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.FlashInfer는 대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.

ColossalAI

AI GitHub 저장소

#65

대규모 AI 모델을 보다 저렴하고 빠르며 접근 가능하게 만들기 위한 프로젝트입니다. AI 모델 훈련 및 배포를 최적화하기 위한 도구와 프레임워크를 제공하며, 효율성과 확장성에 중점을 두고 있습니다.ColossalAI는 대규모 AI 모델을 보다 저렴하고 빠르며 접근 가능하게 만들기 위한 프로젝트입니다. AI 모델 훈련 및 배포를 최적화하기 위한 도구와 프레임워크를 제공하며, 효율성과 확장성에 중점을 두고 있습니다.

MNN

AI GitHub 저장소

Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.MNN은 Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.

mlc-llm

AI GitHub 저장소

기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.mlc-llm은 기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.

Petals

AI GitHub 저장소

#102

사용자가 BitTorrent 스타일 접근 방식을 사용하여 집에서 대형 언어 모델(LLM)을 실행할 수 있도록 하는 오픈 소스 프로젝트입니다. 전통적인 오프로드 방법에 비해 더 빠른 파인 튜닝 및 추론을 제공합니다.Petals는 사용자가 BitTorrent 스타일 접근 방식을 사용하여 집에서 대형 언어 모델(LLM)을 실행할 수 있도록 하는 오픈 소스 프로젝트입니다. 전통적인 오프로드 방법에 비해 더 빠른 파인 튜닝 및 추론을 제공합니다.