Petals

Microsoft에서 개발한 1비트 대형 언어 모델(LLM)을 위한 공식 추론 프레임워크입니다. 이는 LLM의 효율적인 처리 및 배포를 가능하게 하여 성능과 자원 사용을 최적화합니다.BitNet은 Microsoft에서 개발한 1비트 대형 언어 모델(LLM)을 위한 공식 추론 프레임워크입니다. 이는 LLM의 효율적인 처리 및 배포를 가능하게 하여 성능과 자원 사용을 최적화합니다.

PowerInfer

AI GitHub 저장소

#202

로컬 배포를 위해 설계된 고속 대형 언어 모델 서비스 도구입니다. 이는 대형 언어 모델의 효율적이고 신속한 추론을 가능하게 하여 AI 솔루션을 로컬에서 구현하려는 개발자와 연구자에게 적합합니다.PowerInfer는 로컬 배포를 위해 설계된 고속 대형 언어 모델 서비스 도구입니다. 이는 대형 언어 모델의 효율적이고 신속한 추론을 가능하게 하여 AI 솔루션을 로컬에서 구현하려는 개발자와 연구자에게 적합합니다.

vLLM

AI GitHub 저장소

#23

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

bitsandbytes

AI GitHub 저장소

PyTorch를 위한 k-bit 양자화를 통해 대형 언어 모델을 보다 접근 가능하게 만드는 데 중점을 둔 GitHub 프로젝트입니다. 이 프로젝트는 모델 성능을 최적화하고 계산 비용을 줄여 개발자가 대규모 AI 모델을 보다 쉽게 작업할 수 있도록 합니다.Bitsandbytes는 PyTorch를 위한 k-bit 양자화를 통해 대형 언어 모델을 보다 접근 가능하게 만드는 데 중점을 둔 GitHub 프로젝트입니다. 이 프로젝트는 모델 성능을 최적화하고 계산 비용을 줄여 개발자가 대규모 AI 모델을 보다 쉽게 작업할 수 있도록 합니다.

ColossalAI

AI GitHub 저장소

#65

대규모 AI 모델을 보다 저렴하고 빠르며 접근 가능하게 만들기 위한 프로젝트입니다. AI 모델 훈련 및 배포를 최적화하기 위한 도구와 프레임워크를 제공하며, 효율성과 확장성에 중점을 두고 있습니다.ColossalAI는 대규모 AI 모델을 보다 저렴하고 빠르며 접근 가능하게 만들기 위한 프로젝트입니다. AI 모델 훈련 및 배포를 최적화하기 위한 도구와 프레임워크를 제공하며, 효율성과 확장성에 중점을 두고 있습니다.

FlashInfer

AI GitHub 저장소

대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.FlashInfer는 대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.

MNN

AI GitHub 저장소

Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.MNN은 Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.

LocalAI

AI GitHub 저장소

#44

사용자가 GPU 없이 모든 하드웨어에서 LLM, 비전, 음성, 이미지 및 비디오를 포함한 다양한 모델을 실행할 수 있도록 하는 오픈 소스 AI 엔진입니다. 이러한 유연성 덕분에 다양한 애플리케이션에 접근할 수 있습니다.LocalAI는 사용자가 GPU 없이 모든 하드웨어에서 LLM, 비전, 음성, 이미지 및 비디오를 포함한 다양한 모델을 실행할 수 있도록 하는 오픈 소스 AI 엔진입니다. 이러한 유연성 덕분에 다양한 애플리케이션에 접근할 수 있습니다.