프로젝트 마야

LocalAI

AI GitHub 저장소

#44

사용자가 GPU 없이 모든 하드웨어에서 LLM, 비전, 음성, 이미지 및 비디오를 포함한 다양한 모델을 실행할 수 있도록 하는 오픈 소스 AI 엔진입니다. 이러한 유연성 덕분에 다양한 애플리케이션에 접근할 수 있습니다.LocalAI는 사용자가 GPU 없이 모든 하드웨어에서 LLM, 비전, 음성, 이미지 및 비디오를 포함한 다양한 모델을 실행할 수 있도록 하는 오픈 소스 AI 엔진입니다. 이러한 유연성 덕분에 다양한 애플리케이션에 접근할 수 있습니다.

GPUStack

AI GitHub 저장소

#115

vLLM 및 SGLang을 포함한 고성능 AI 모델 서비스를 위해 설계된 GPU 클러스터 관리 도구로, 필요에 따라 SSH로 접근 가능한 GPU 인스턴스를 제공합니다. AI 애플리케이션을 위한 GPU 리소스의 효율적인 관리를 촉진합니다.GPUStack는 vLLM 및 SGLang을 포함한 고성능 AI 모델 서비스를 위해 설계된 GPU 클러스터 관리 도구로, 필요에 따라 SSH로 접근 가능한 GPU 인스턴스를 제공합니다. AI 애플리케이션을 위한 GPU 리소스의 효율적인 관리를 촉진합니다.

Shimmy

AI GitHub 저장소

OpenAI-API와 호환되며 GGUF 네이티브인 순수 Rust WebGPU 추론 엔진입니다. Python이나 llama.cpp 없이 모든 GPU에서 실행되며 단일 바이너리 솔루션을 제공합니다.Shimmy는 OpenAI-API와 호환되며 GGUF 네이티브인 순수 Rust WebGPU 추론 엔진입니다. Python이나 llama.cpp 없이 모든 GPU에서 실행되며 단일 바이너리 솔루션을 제공합니다.

openTPU

AI GitHub 저장소

FeSens가 개발한 오픈 소스 AI 가속기입니다. RTL, ISA, 시뮬레이터, 컴파일러 및 프로파일러를 하나의 저장소에 통합하여 Kintex-7 PCIe 카드에서 Qwen3, LFM2.5 및 Qwen3.5와 같은 AI 모델을 실행할 수 있게 합니다.openTPU는 FeSens가 개발한 오픈 소스 AI 가속기입니다. RTL, ISA, 시뮬레이터, 컴파일러 및 프로파일러를 하나의 저장소에 통합하여 Kintex-7 PCIe 카드에서 Qwen3, LFM2.5 및 Qwen3.5와 같은 AI 모델을 실행할 수 있게 합니다.

GPU 또는 Mac을 감지하고, VRAM 요구 사항 및 속도 추정치를 포함하여 로컬에서 실행할 수 있는 LLM, 코딩, 이미지 및 비디오 모델을 보여주는 무료 도구입니다.

AirLLM

AI GitHub 저장소

#234

단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

TensorRT-LLM

AI GitHub 저장소

#63

대형 언어 모델을 정의하고 NVIDIA GPU에서 추론을 최적화하기 위한 Python API를 제공합니다. 이 도구는 효율적인 추론 실행을 조율하기 위해 Python 및 C++ 런타임을 생성하는 구성 요소를 포함합니다.TensorRT-LLM은 대형 언어 모델을 정의하고 NVIDIA GPU에서 추론을 최적화하기 위한 Python API를 제공합니다. 이 도구는 효율적인 추론 실행을 조율하기 위해 Python 및 C++ 런타임을 생성하는 구성 요소를 포함합니다.

GenieX

AI GitHub 저장소

Qualcomm 장치에서 NPU, GPU 및 CPU를 활용하여 최전선 LLM 및 VLM을 로컬에서 실행할 수 있게 해줍니다. 최소한의 코드로 프로세스를 단순화하여 효율적인 AI 모델 배포를 제공합니다.GenieX는 Qualcomm 장치에서 NPU, GPU 및 CPU를 활용하여 최전선 LLM 및 VLM을 로컬에서 실행할 수 있게 해줍니다. 최소한의 코드로 프로세스를 단순화하여 효율적인 AI 모델 배포를 제공합니다.