Soup

vLLM

AI GitHub 저장소

#23

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

mlc-llm

AI GitHub 저장소

기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.mlc-llm은 기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.

AirLLM

AI GitHub 저장소

#234

단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

ColossalAI

AI GitHub 저장소

#65

대규모 AI 모델을 보다 저렴하고 빠르며 접근 가능하게 만들기 위한 프로젝트입니다. AI 모델 훈련 및 배포를 최적화하기 위한 도구와 프레임워크를 제공하며, 효율성과 확장성에 중점을 두고 있습니다.ColossalAI는 대규모 AI 모델을 보다 저렴하고 빠르며 접근 가능하게 만들기 위한 프로젝트입니다. AI 모델 훈련 및 배포를 최적화하기 위한 도구와 프레임워크를 제공하며, 효율성과 확장성에 중점을 두고 있습니다.

SGLang

AI GitHub 저장소

#53

대형 언어 모델과 다중 모달 모델을 위해 설계된 고성능 서빙 프레임워크입니다. AI 애플리케이션의 성능을 향상시키는 효율적인 서빙 기능을 제공하여 AI 분야의 개발자와 연구자에게 적합합니다.SGLang은 대형 언어 모델과 다중 모달 모델을 위해 설계된 고성능 서빙 프레임워크입니다. AI 애플리케이션의 성능을 향상시키는 효율적인 서빙 기능을 제공하여 AI 분야의 개발자와 연구자에게 적합합니다.

Unsloth

AI GitHub 저장소

#39

대규모 언어 모델(LLM) 및 확산 모델을 실행하고 훈련하기 위해 설계된 로컬 사용자 인터페이스입니다. Qwen3.8, Kimi K3, MiniMax-H3 등 다양한 모델을 지원하며, 개발자와 연구자에게 접근 가능한 플랫폼을 제공합니다.unslothai/unsloth는 대규모 언어 모델(LLM) 및 확산 모델을 실행하고 훈련하기 위해 설계된 로컬 사용자 인터페이스입니다. Qwen3.8, Kimi K3, MiniMax-H3 등 다양한 모델을 지원하며, 개발자와 연구자에게 접근 가능한 플랫폼을 제공합니다.

PowerInfer

AI GitHub 저장소

#202

로컬 배포를 위해 설계된 고속 대형 언어 모델 서비스 도구입니다. 이는 대형 언어 모델의 효율적이고 신속한 추론을 가능하게 하여 AI 솔루션을 로컬에서 구현하려는 개발자와 연구자에게 적합합니다.PowerInfer는 로컬 배포를 위해 설계된 고속 대형 언어 모델 서비스 도구입니다. 이는 대형 언어 모델의 효율적이고 신속한 추론을 가능하게 하여 AI 솔루션을 로컬에서 구현하려는 개발자와 연구자에게 적합합니다.

DeepEval

AI GitHub 저장소

#80

대규모 언어 모델(LLM)을 평가하기 위해 설계된 오픈 소스 프레임워크입니다. 개발자들이 평가 프로세스에 기여하고 개선할 수 있도록 하여 LLM의 성능과 신뢰성을 향상시킵니다.DeepEval은 대규모 언어 모델(LLM)을 평가하기 위해 설계된 오픈 소스 프레임워크입니다. 개발자들이 평가 프로세스에 기여하고 개선할 수 있도록 하여 LLM의 성능과 신뢰성을 향상시킵니다.