LMCache

GPTCache

AI GitHub 저장소

대형 언어 모델(LLM)을 위해 설계된 의미론적 캐시로, LangChain 및 llama_index와 완전히 통합되어 있습니다. 의미론적 데이터를 캐싱하여 LLM의 성능을 최적화하고 효율성을 높이며 계산 부하를 줄입니다.GPTCache는 대형 언어 모델(LLM)을 위해 설계된 의미론적 캐시로, LangChain 및 llama_index와 완전히 통합되어 있습니다. 의미론적 데이터를 캐싱하여 LLM의 성능을 최적화하고 효율성을 높이며 계산 부하를 줄입니다.

LMDeploy

AI GitHub 저장소

#72

대형 언어 모델(LLM)을 압축, 배포 및 제공하기 위해 설계된 툴킷입니다. 개발자에게 LLM을 효율적으로 관리할 수 있는 필수 도구를 제공하여 최적의 성능과 확장성을 보장합니다.LMDeploy는 대형 언어 모델(LLM)을 압축, 배포 및 제공하기 위해 설계된 툴킷입니다. 개발자에게 LLM을 효율적으로 관리할 수 있는 필수 도구를 제공하여 최적의 성능과 확장성을 보장합니다.

omlx

AI GitHub 저장소

#135

Apple Silicon을 위해 설계된 LLM 추론 서버로, 지속적인 배치 처리와 SSD 캐싱 기능을 제공합니다. macOS 메뉴 바에서 직접 관리되며, 대형 언어 모델을 다루는 개발자에게 효율적이고 간소화된 경험을 제공합니다.omlx는 Apple Silicon을 위해 설계된 LLM 추론 서버로, 지속적인 배치 처리와 SSD 캐싱 기능을 제공합니다. macOS 메뉴 바에서 직접 관리되며, 대형 언어 모델을 다루는 개발자에게 효율적이고 간소화된 경험을 제공합니다.

vLLM

AI GitHub 저장소

#23

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

SGLang

AI GitHub 저장소

#53

대형 언어 모델과 다중 모달 모델을 위해 설계된 고성능 서빙 프레임워크입니다. AI 애플리케이션의 성능을 향상시키는 효율적인 서빙 기능을 제공하여 AI 분야의 개발자와 연구자에게 적합합니다.SGLang은 대형 언어 모델과 다중 모달 모델을 위해 설계된 고성능 서빙 프레임워크입니다. AI 애플리케이션의 성능을 향상시키는 효율적인 서빙 기능을 제공하여 AI 분야의 개발자와 연구자에게 적합합니다.

llmware

AI GitHub 저장소

#81

소형 전문 모델을 사용하여 기업 RAG 파이프라인을 구축하기 위해 설계된 통합 프레임워크입니다. 다양한 AI 모델을 일관된 파이프라인으로 통합하여 기업 애플리케이션의 효율성과 확장성을 향상시킵니다.llmware는 소형 전문 모델을 사용하여 기업 RAG 파이프라인을 구축하기 위해 설계된 통합 프레임워크입니다. 다양한 AI 모델을 일관된 파이프라인으로 통합하여 기업 애플리케이션의 효율성과 확장성을 향상시킵니다.

Soup

AI GitHub 저장소

수프는 단일 YAML 파일을 사용하여 대형 언어 모델(LLM)의 미세 조정을 가능하게 하는 GitHub 리포지토리입니다. 레이어 스트리밍을 활용하여 4GB 노트북 GPU에서 80억 개의 매개변수를 가진 모델을 훈련시켜, 제한된 하드웨어에서 고급 AI 모델 훈련을 접근 가능하게 합니다.

mlc-llm

AI GitHub 저장소

기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.mlc-llm은 기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.