TokenSpeed

vLLM

AI GitHub 저장소

#23

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

Petals

AI GitHub 저장소

#102

사용자가 BitTorrent 스타일 접근 방식을 사용하여 집에서 대형 언어 모델(LLM)을 실행할 수 있도록 하는 오픈 소스 프로젝트입니다. 전통적인 오프로드 방법에 비해 더 빠른 파인 튜닝 및 추론을 제공합니다.Petals는 사용자가 BitTorrent 스타일 접근 방식을 사용하여 집에서 대형 언어 모델(LLM)을 실행할 수 있도록 하는 오픈 소스 프로젝트입니다. 전통적인 오프로드 방법에 비해 더 빠른 파인 튜닝 및 추론을 제공합니다.

Microsoft에서 개발한 1비트 대형 언어 모델(LLM)을 위한 공식 추론 프레임워크입니다. 이는 LLM의 효율적인 처리 및 배포를 가능하게 하여 성능과 자원 사용을 최적화합니다.BitNet은 Microsoft에서 개발한 1비트 대형 언어 모델(LLM)을 위한 공식 추론 프레임워크입니다. 이는 LLM의 효율적인 처리 및 배포를 가능하게 하여 성능과 자원 사용을 최적화합니다.

MNN

AI GitHub 저장소

Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.MNN은 Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.

AirLLM

AI GitHub 저장소

#234

단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

MLX

AI GitHub 저장소

애플 실리콘을 위해 특별히 설계된 배열 프레임워크로, 효율적인 머신 러닝 작업을 가능하게 합니다. 개발자들이 GitHub에서 개발에 기여할 수 있도록 하여 AI 커뮤니티의 협업과 혁신을 촉진합니다.MLX는 애플 실리콘을 위해 특별히 설계된 배열 프레임워크로, 효율적인 머신 러닝 작업을 가능하게 합니다. 개발자들이 GitHub에서 개발에 기여할 수 있도록 하여 AI 커뮤니티의 협업과 혁신을 촉진합니다.

FlashInfer

AI GitHub 저장소

대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.FlashInfer는 대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.

WebLLM

AI GitHub 저장소

web-llm은 웹 환경 내에서 기계 학습 작업을 직접 수행할 수 있도록 설계된 고성능 브라우저 내 LLM 추론 엔진입니다. 개발자들이 GitHub를 통해 기여하고 기능을 향상시킬 수 있도록 합니다.