MNN

vLLM

AI GitHub 저장소

#23

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

Microsoft에서 개발한 1비트 대형 언어 모델(LLM)을 위한 공식 추론 프레임워크입니다. 이는 LLM의 효율적인 처리 및 배포를 가능하게 하여 성능과 자원 사용을 최적화합니다.BitNet은 Microsoft에서 개발한 1비트 대형 언어 모델(LLM)을 위한 공식 추론 프레임워크입니다. 이는 LLM의 효율적인 처리 및 배포를 가능하게 하여 성능과 자원 사용을 최적화합니다.

Baseten

AI 플랫폼

#72

Baseten의 추론 플랫폼은 사용자가 오픈 소스 및 맞춤형 AI 모델을 효율적으로 배포하고 확장할 수 있도록 합니다. 전용 인프라, 최적화된 API 및 원활한 개발자 워크플로우를 통해 고성능 추론을 제공하여 신속한 배포와 신뢰할 수 있는 성능을 보장합니다.

AirLLM

AI GitHub 저장소

#234

단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

mlc-llm

AI GitHub 저장소

기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.mlc-llm은 기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.

Soup

AI GitHub 저장소

수프는 단일 YAML 파일을 사용하여 대형 언어 모델(LLM)의 미세 조정을 가능하게 하는 GitHub 리포지토리입니다. 레이어 스트리밍을 활용하여 4GB 노트북 GPU에서 80억 개의 매개변수를 가진 모델을 훈련시켜, 제한된 하드웨어에서 고급 AI 모델 훈련을 접근 가능하게 합니다.

omlx

AI GitHub 저장소

#135

Apple Silicon을 위해 설계된 LLM 추론 서버로, 지속적인 배치 처리와 SSD 캐싱 기능을 제공합니다. macOS 메뉴 바에서 직접 관리되며, 대형 언어 모델을 다루는 개발자에게 효율적이고 간소화된 경험을 제공합니다.omlx는 Apple Silicon을 위해 설계된 LLM 추론 서버로, 지속적인 배치 처리와 SSD 캐싱 기능을 제공합니다. macOS 메뉴 바에서 직접 관리되며, 대형 언어 모델을 다루는 개발자에게 효율적이고 간소화된 경험을 제공합니다.

개발자가 200개 이상의 최적화된 LLM 및 다중 모달 모델을 배포, 미세 조정 및 실행할 수 있는 AI 인프라 플랫폼으로, 하나의 OpenAI 호환 API를 통해 사용한 만큼만 지불하는 가격 모델을 제공합니다.