omlx

vLLM

AI GitHub 저장소

#23

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

MNN

AI GitHub 저장소

Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.MNN은 Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.

Splash

AI GitHub 저장소

#137

Apple 실리콘을 위해 특별히 설계된 로컬 추론 엔진입니다. 이 엔진은 Apple 장치에서 효율적인 모델 추론을 가능하게 하여 AI 모델을 로컬에서 작업하는 개발자에게 간소화된 솔루션을 제공합니다.Splash는 Apple 실리콘을 위해 특별히 설계된 로컬 추론 엔진입니다. 이 엔진은 Apple 장치에서 효율적인 모델 추론을 가능하게 하여 AI 모델을 로컬에서 작업하는 개발자에게 간소화된 솔루션을 제공합니다.

LMCache

AI GitHub 저장소

대형 언어 모델(LLM)의 효율성을 향상시키기 위해 설계된 고성능 키-값 캐시 레이어입니다. 데이터 검색 속도를 최적화하여 AI 애플리케이션의 처리 속도와 성능을 개선합니다.LMCache는 대형 언어 모델(LLM)의 효율성을 향상시키기 위해 설계된 고성능 키-값 캐시 레이어입니다. 데이터 검색 속도를 최적화하여 AI 애플리케이션의 처리 속도와 성능을 개선합니다.

mlc-llm

AI GitHub 저장소

기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.mlc-llm은 기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.

WebLLM

AI GitHub 저장소

web-llm은 웹 환경 내에서 기계 학습 작업을 직접 수행할 수 있도록 설계된 고성능 브라우저 내 LLM 추론 엔진입니다. 개발자들이 GitHub를 통해 기여하고 기능을 향상시킬 수 있도록 합니다.

TokenSpeed

AI GitHub 저장소

#189

빠른 처리 속도를 제공하도록 설계된 고성능 LLM 추론 엔진입니다. 대형 언어 모델에 최적화되어 AI 개발자와 연구자에게 효율적이고 확장 가능한 솔루션을 제공합니다.TokenSpeed는 빠른 처리 속도를 제공하도록 설계된 고성능 LLM 추론 엔진입니다. 대형 언어 모델에 최적화되어 AI 개발자와 연구자에게 효율적이고 확장 가능한 솔루션을 제공합니다.

Microsoft에서 개발한 1비트 대형 언어 모델(LLM)을 위한 공식 추론 프레임워크입니다. 이는 LLM의 효율적인 처리 및 배포를 가능하게 하여 성능과 자원 사용을 최적화합니다.BitNet은 Microsoft에서 개발한 1비트 대형 언어 모델(LLM)을 위한 공식 추론 프레임워크입니다. 이는 LLM의 효율적인 처리 및 배포를 가능하게 하여 성능과 자원 사용을 최적화합니다.