Xinference

PowerInfer

AI GitHub 저장소

#208

로컬 배포를 위해 설계된 고속 대형 언어 모델 서비스 도구입니다. 이는 대형 언어 모델의 효율적이고 신속한 추론을 가능하게 하여 AI 솔루션을 로컬에서 구현하려는 개발자와 연구자에게 적합합니다.PowerInfer는 로컬 배포를 위해 설계된 고속 대형 언어 모델 서비스 도구입니다. 이는 대형 언어 모델의 효율적이고 신속한 추론을 가능하게 하여 AI 솔루션을 로컬에서 구현하려는 개발자와 연구자에게 적합합니다.

vLLM

AI GitHub 저장소

#22

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

FlashInfer

AI GitHub 저장소

대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.FlashInfer는 대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.

BentoML

AI GitHub 저장소

#95

AI 모델 및 애플리케이션 배포를 간소화하기 위해 설계된 오픈 소스 플랫폼입니다. 개발자는 모델 추론 API를 구축하고, 작업 큐를 관리하며, 다중 모델 파이프라인을 효율적으로 생성할 수 있어 AI 배포를 접근 가능하고 간소화합니다.BentoML은 AI 모델 및 애플리케이션 배포를 간소화하기 위해 설계된 오픈 소스 플랫폼입니다. 개발자는 모델 추론 API를 구축하고, 작업 큐를 관리하며, 다중 모델 파이프라인을 효율적으로 생성할 수 있어 AI 배포를 접근 가능하고 간소화합니다.

Petals

AI GitHub 저장소

#105

사용자가 BitTorrent 스타일 접근 방식을 사용하여 집에서 대형 언어 모델(LLM)을 실행할 수 있도록 하는 오픈 소스 프로젝트입니다. 전통적인 오프로드 방법에 비해 더 빠른 파인 튜닝 및 추론을 제공합니다.Petals는 사용자가 BitTorrent 스타일 접근 방식을 사용하여 집에서 대형 언어 모델(LLM)을 실행할 수 있도록 하는 오픈 소스 프로젝트입니다. 전통적인 오프로드 방법에 비해 더 빠른 파인 튜닝 및 추론을 제공합니다.

LocalAI

AI GitHub 저장소

#44

사용자가 GPU 없이 모든 하드웨어에서 LLM, 비전, 음성, 이미지 및 비디오를 포함한 다양한 모델을 실행할 수 있도록 하는 오픈 소스 AI 엔진입니다. 이러한 유연성 덕분에 다양한 애플리케이션에 접근할 수 있습니다.LocalAI는 사용자가 GPU 없이 모든 하드웨어에서 LLM, 비전, 음성, 이미지 및 비디오를 포함한 다양한 모델을 실행할 수 있도록 하는 오픈 소스 AI 엔진입니다. 이러한 유연성 덕분에 다양한 애플리케이션에 접근할 수 있습니다.

Microsoft에서 개발한 1비트 대형 언어 모델(LLM)을 위한 공식 추론 프레임워크입니다. 이는 LLM의 효율적인 처리 및 배포를 가능하게 하여 성능과 자원 사용을 최적화합니다.BitNet은 Microsoft에서 개발한 1비트 대형 언어 모델(LLM)을 위한 공식 추론 프레임워크입니다. 이는 LLM의 효율적인 처리 및 배포를 가능하게 하여 성능과 자원 사용을 최적화합니다.

Runanywhere

AI GitHub 저장소

Runanywhere SDKs는 AI 모델을 로컬에서 실행하기 위해 설계된 생산 준비 완료 툴킷입니다. 효율적인 로컬 실행을 위한 필수 도구와 리소스를 제공하여 AI 애플리케이션의 개발 및 배포를 용이하게 합니다.