FlashInfer

llamafile

AI GitHub 저장소

#135

단일 파일을 사용하여 대형 언어 모델(LLM)의 배포 및 실행을 간소화하도록 설계된 도구입니다. 이 도구는 GitHub에서 Mozilla AI 커뮤니티 내의 협업 및 개발을 촉진합니다.Llamafile은 단일 파일을 사용하여 대형 언어 모델(LLM)의 배포 및 실행을 간소화하도록 설계된 도구입니다. 이 도구는 GitHub에서 Mozilla AI 커뮤니티 내의 협업 및 개발을 촉진합니다.

SGLang

AI GitHub 저장소

#53

대형 언어 모델과 다중 모달 모델을 위해 설계된 고성능 서빙 프레임워크입니다. AI 애플리케이션의 성능을 향상시키는 효율적인 서빙 기능을 제공하여 AI 분야의 개발자와 연구자에게 적합합니다.SGLang은 대형 언어 모델과 다중 모달 모델을 위해 설계된 고성능 서빙 프레임워크입니다. AI 애플리케이션의 성능을 향상시키는 효율적인 서빙 기능을 제공하여 AI 분야의 개발자와 연구자에게 적합합니다.

MLX LM

AI GitHub 저장소

#162

MLX 프레임워크를 사용하여 대형 언어 모델(LLM)을 실행하는 것을 용이하게 하기 위해 설계된 GitHub 프로젝트입니다. 개발자들이 개발에 기여하고 기능을 향상시킬 수 있도록 합니다.MLX LM은 MLX 프레임워크를 사용하여 대형 언어 모델(LLM)을 실행하는 것을 용이하게 하기 위해 설계된 GitHub 프로젝트입니다. 개발자들이 개발에 기여하고 기능을 향상시킬 수 있도록 합니다.

mlc-llm

AI GitHub 저장소

기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.mlc-llm은 기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.

DeepEval

AI GitHub 저장소

#80

대규모 언어 모델(LLM)을 평가하기 위해 설계된 오픈 소스 프레임워크입니다. 개발자들이 평가 프로세스에 기여하고 개선할 수 있도록 하여 LLM의 성능과 신뢰성을 향상시킵니다.DeepEval은 대규모 언어 모델(LLM)을 평가하기 위해 설계된 오픈 소스 프레임워크입니다. 개발자들이 평가 프로세스에 기여하고 개선할 수 있도록 하여 LLM의 성능과 신뢰성을 향상시킵니다.

PowerInfer

AI GitHub 저장소

#202

로컬 배포를 위해 설계된 고속 대형 언어 모델 서비스 도구입니다. 이는 대형 언어 모델의 효율적이고 신속한 추론을 가능하게 하여 AI 솔루션을 로컬에서 구현하려는 개발자와 연구자에게 적합합니다.PowerInfer는 로컬 배포를 위해 설계된 고속 대형 언어 모델 서비스 도구입니다. 이는 대형 언어 모델의 효율적이고 신속한 추론을 가능하게 하여 AI 솔루션을 로컬에서 구현하려는 개발자와 연구자에게 적합합니다.

Mirascope - LLM Anti-Framework

AI GitHub 저장소

대형 언어 모델 개발 프로세스를 간소화하기 위해 설계된 혁신적인 LLM Anti-Framework입니다. 개발자들이 지속적인 개발에 기여할 수 있는 협업 플랫폼을 GitHub에서 제공합니다.Mirascope는 대형 언어 모델 개발 프로세스를 간소화하기 위해 설계된 혁신적인 LLM Anti-Framework입니다. 개발자들이 지속적인 개발에 기여할 수 있는 협업 플랫폼을 GitHub에서 제공합니다.

LMDeploy

AI GitHub 저장소

#72

대형 언어 모델(LLM)을 압축, 배포 및 제공하기 위해 설계된 툴킷입니다. 개발자에게 LLM을 효율적으로 관리할 수 있는 필수 도구를 제공하여 최적의 성능과 확장성을 보장합니다.LMDeploy는 대형 언어 모델(LLM)을 압축, 배포 및 제공하기 위해 설계된 툴킷입니다. 개발자에게 LLM을 효율적으로 관리할 수 있는 필수 도구를 제공하여 최적의 성능과 확장성을 보장합니다.