최고의 MLOps 및 모델 배포 AI GitHub 저장소

Ollama

AI GitHub 저장소

#10

사용자의 컴퓨터에서 대형 언어 모델을 실행하기 위한 오픈 소스 도구입니다. 개발자는 Llama, Gemma, Qwen 및 DeepSeek와 같은 모델을 단일 명령으로 설치한 후, macOS, Windows, Linux 또는 Docker에서 CLI, REST API 또는 공식 Python 및…Ollama는 사용자의 컴퓨터에서 대형 언어 모델을 실행하기 위한 오픈 소스 도구입니다. 개발자는 Llama, Gemma, Qwen 및 DeepSeek와 같은 모델을 단일 명령으로 설치한 후, macOS, Windows, Linux 또는 Docker에서 CLI, REST API 또는 공식 Python 및…

Langfuse

AI GitHub 저장소

#19

LLM 평가, 관찰 가능성, 메트릭, 프롬프트 관리 등을 제공하는 오픈 소스 AI 엔지니어링 플랫폼입니다. OpenTelemetry, LangChain 및 OpenAI SDK와 통합되어 AI 개발을 위한 종합적인 도구 키트를 제공합니다.Langfuse는 LLM 평가, 관찰 가능성, 메트릭, 프롬프트 관리 등을 제공하는 오픈 소스 AI 엔지니어링 플랫폼입니다. OpenTelemetry, LangChain 및 OpenAI SDK와 통합되어 AI 개발을 위한 종합적인 도구 키트를 제공합니다.

vLLM

AI GitHub 저장소

#23

대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.vllm-project/vllm은 대형 언어 모델(LLM)을 위해 설계된 고속 및 메모리 효율적인 추론 및 서비스 엔진입니다. 성능을 최적화하면서 자원 사용을 최소화하여 AI 및 머신 러닝의 다양한 응용 프로그램에 적합합니다.

Unsloth

AI GitHub 저장소

#33

대규모 언어 모델(LLM) 및 확산 모델을 실행하고 훈련하기 위해 설계된 로컬 사용자 인터페이스입니다. Qwen3.8, Kimi K3, MiniMax-H3 등 다양한 모델을 지원하며, 개발자와 연구자에게 접근 가능한 플랫폼을 제공합니다.unslothai/unsloth는 대규모 언어 모델(LLM) 및 확산 모델을 실행하고 훈련하기 위해 설계된 로컬 사용자 인터페이스입니다. Qwen3.8, Kimi K3, MiniMax-H3 등 다양한 모델을 지원하며, 개발자와 연구자에게 접근 가능한 플랫폼을 제공합니다.

SGLang

AI GitHub 저장소

#53

대형 언어 모델과 다중 모달 모델을 위해 설계된 고성능 서빙 프레임워크입니다. AI 애플리케이션의 성능을 향상시키는 효율적인 서빙 기능을 제공하여 AI 분야의 개발자와 연구자에게 적합합니다.SGLang은 대형 언어 모델과 다중 모달 모델을 위해 설계된 고성능 서빙 프레임워크입니다. AI 애플리케이션의 성능을 향상시키는 효율적인 서빙 기능을 제공하여 AI 분야의 개발자와 연구자에게 적합합니다.

Netron Visualizer

AI GitHub 저장소

#69

신경망, 딥러닝 및 머신러닝 모델을 시각화하는 도구입니다. 모델 아키텍처와 매개변수를 탐색할 수 있는 직관적인 인터페이스를 제공하여 개발자와 연구자가 모델을 이해하고 디버깅하는 데 도움을 줍니다.Netron은 신경망, 딥러닝 및 머신러닝 모델을 시각화하는 도구입니다. 모델 아키텍처와 매개변수를 탐색할 수 있는 직관적인 인터페이스를 제공하여 개발자와 연구자가 모델을 이해하고 디버깅하는 데 도움을 줍니다.

LMDeploy

AI GitHub 저장소

#73

대형 언어 모델(LLM)을 압축, 배포 및 제공하기 위해 설계된 툴킷입니다. 개발자에게 LLM을 효율적으로 관리할 수 있는 필수 도구를 제공하여 최적의 성능과 확장성을 보장합니다.LMDeploy는 대형 언어 모델(LLM)을 압축, 배포 및 제공하기 위해 설계된 툴킷입니다. 개발자에게 LLM을 효율적으로 관리할 수 있는 필수 도구를 제공하여 최적의 성능과 확장성을 보장합니다.

DeepEval

AI GitHub 저장소

#80

대규모 언어 모델(LLM)을 평가하기 위해 설계된 오픈 소스 프레임워크입니다. 개발자들이 평가 프로세스에 기여하고 개선할 수 있도록 하여 LLM의 성능과 신뢰성을 향상시킵니다.DeepEval은 대규모 언어 모델(LLM)을 평가하기 위해 설계된 오픈 소스 프레임워크입니다. 개발자들이 평가 프로세스에 기여하고 개선할 수 있도록 하여 LLM의 성능과 신뢰성을 향상시킵니다.

llmware

AI GitHub 저장소

#81

소형 전문 모델을 사용하여 기업 RAG 파이프라인을 구축하기 위해 설계된 통합 프레임워크입니다. 다양한 AI 모델을 일관된 파이프라인으로 통합하여 기업 애플리케이션의 효율성과 확장성을 향상시킵니다.llmware는 소형 전문 모델을 사용하여 기업 RAG 파이프라인을 구축하기 위해 설계된 통합 프레임워크입니다. 다양한 AI 모델을 일관된 파이프라인으로 통합하여 기업 애플리케이션의 효율성과 확장성을 향상시킵니다.

Phoenix

AI GitHub 저장소

#85

Arize Phoenix는 개발자가 AI 모델을 모니터링하고 평가하는 데 도움을 주기 위해 설계된 AI 관측 및 평가 도구입니다. 모델 성능에 대한 통찰력을 제공하여 더 나은 의사 결정 및 최적화를 가능하게 합니다.

Feast Feature Store

AI GitHub 저장소

#90

AI 및 머신러닝 애플리케이션을 위해 설계된 오픈 소스 기능 저장소입니다. 데이터 과학자들이 프로덕션에서 모델에 기능을 관리하고 제공할 수 있도록 하여 AI 프로젝트의 효율성과 확장성을 향상시킵니다.Feast는 AI 및 머신러닝 애플리케이션을 위해 설계된 오픈 소스 기능 저장소입니다. 데이터 과학자들이 프로덕션에서 모델에 기능을 관리하고 제공할 수 있도록 하여 AI 프로젝트의 효율성과 확장성을 향상시킵니다.

BentoML

AI GitHub 저장소

#93

AI 모델 및 애플리케이션 배포를 간소화하기 위해 설계된 오픈 소스 플랫폼입니다. 개발자는 모델 추론 API를 구축하고, 작업 큐를 관리하며, 다중 모델 파이프라인을 효율적으로 생성할 수 있어 AI 배포를 접근 가능하고 간소화합니다.BentoML은 AI 모델 및 애플리케이션 배포를 간소화하기 위해 설계된 오픈 소스 플랫폼입니다. 개발자는 모델 추론 API를 구축하고, 작업 큐를 관리하며, 다중 모델 파이프라인을 효율적으로 생성할 수 있어 AI 배포를 접근 가능하고 간소화합니다.

NannyML

AI GitHub 저장소

#106

배포 후 데이터 과학에 중점을 둔 Python 라이브러리입니다. 데이터 과학자들이 배포 후 모델 성능을 모니터링하고 분석하여 신뢰성과 정확성을 보장하는 데 도움을 줍니다.NannyML은 배포 후 데이터 과학에 중점을 둔 Python 라이브러리입니다. 데이터 과학자들이 배포 후 모델 성능을 모니터링하고 분석하여 신뢰성과 정확성을 보장하는 데 도움을 줍니다.

llamafile

AI GitHub 저장소

#136

단일 파일을 사용하여 대형 언어 모델(LLM)의 배포 및 실행을 간소화하도록 설계된 도구입니다. 이 도구는 GitHub에서 Mozilla AI 커뮤니티 내의 협업 및 개발을 촉진합니다.Llamafile은 단일 파일을 사용하여 대형 언어 모델(LLM)의 배포 및 실행을 간소화하도록 설계된 도구입니다. 이 도구는 GitHub에서 Mozilla AI 커뮤니티 내의 협업 및 개발을 촉진합니다.

SGLang-Omni

AI GitHub 저장소

#155이번 주

TTS 및 ASR과 같은 오디오 모델과 통합된 다중 모달 모델을 위해 설계된 고성능 서빙 프레임워크입니다. 복잡한 AI 모델을 효율적으로 배포하고 관리하는 데 강력한 지원을 제공합니다.SGLang-Omni는 TTS 및 ASR과 같은 오디오 모델과 통합된 다중 모달 모델을 위해 설계된 고성능 서빙 프레임워크입니다. 복잡한 AI 모델을 효율적으로 배포하고 관리하는 데 강력한 지원을 제공합니다.

Caveman

AI GitHub 저장소

#180

동굴인의 언어를 모방하여 코딩 에이전트의 토큰 사용을 최적화하는 GitHub 프로젝트입니다. 이는 토큰 소비를 65% 줄여 코딩 에이전트를 사용하는 개발자들의 효율성을 향상시킵니다.Caveman은 동굴인의 언어를 모방하여 코딩 에이전트의 토큰 사용을 최적화하는 GitHub 프로젝트입니다. 이는 토큰 소비를 65% 줄여 코딩 에이전트를 사용하는 개발자들의 효율성을 향상시킵니다.

FailproofAI

AI GitHub 저장소

#181

AI 에이전트 하네스에 대한 관찰 가능성과 집행을 제공하여 모든 실행이 캡처되고 정책 집행을 통해 런타임 신뢰성이 유지되도록 합니다. 이 도구는 AI 시스템의 신뢰성과 효율성을 향상시키기 위해 설계되었습니다.FailproofAI는 AI 에이전트 하네스에 대한 관찰 가능성과 집행을 제공하여 모든 실행이 캡처되고 정책 집행을 통해 런타임 신뢰성이 유지되도록 합니다. 이 도구는 AI 시스템의 신뢰성과 효율성을 향상시키기 위해 설계되었습니다.

RagaAI Catalyst

AI GitHub 저장소

#200

AI 관찰성, 모니터링 및 평가를 위해 설계된 Python SDK입니다. 에이전트 및 도구 추적, 다중 에이전트 시스템 디버깅, 자가 호스팅 대시보드와 함께 고급 분석 기능을 제공합니다.RagaAI Catalyst는 AI 관찰성, 모니터링 및 평가를 위해 설계된 Python SDK입니다. 에이전트 및 도구 추적, 다중 에이전트 시스템 디버깅, 자가 호스팅 대시보드와 함께 고급 분석 기능을 제공합니다.

PowerInfer

AI GitHub 저장소

#201

로컬 배포를 위해 설계된 고속 대형 언어 모델 서비스 도구입니다. 이는 대형 언어 모델의 효율적이고 신속한 추론을 가능하게 하여 AI 솔루션을 로컬에서 구현하려는 개발자와 연구자에게 적합합니다.PowerInfer는 로컬 배포를 위해 설계된 고속 대형 언어 모델 서비스 도구입니다. 이는 대형 언어 모델의 효율적이고 신속한 추론을 가능하게 하여 AI 솔루션을 로컬에서 구현하려는 개발자와 연구자에게 적합합니다.

AirLLM

AI GitHub 저장소

#236

단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.AirLLM은 단일 4GB GPU를 사용하여 700억 개의 매개변수 추론을 가능하게 하는 GitHub 프로젝트입니다. 이 프로젝트는 제한된 하드웨어에서 대형 언어 모델의 성능을 최적화하여 고급 AI 기능을 보다 쉽게 접근할 수 있도록 설계되었습니다.

Rocketride Server

AI GitHub 저장소

#237

로켓라이드 서버는 C++ 코어를 가진 고성능 AI 파이프라인 엔진입니다. 50개 이상의 Python 확장 가능 노드를 지원하여 여러 모델 제공자 및 벡터 데이터베이스와 함께 LLM 워크플로우를 구축, 디버깅 및 확장할 수 있습니다. 이 도구는 IDE와 통합되며 VS Code 확장, TypeScript/Python SDK…

GPUStack

AI GitHub 저장소

#116

vLLM 및 SGLang을 포함한 고성능 AI 모델 서비스를 위해 설계된 GPU 클러스터 관리 도구로, 필요에 따라 SSH로 접근 가능한 GPU 인스턴스를 제공합니다. AI 애플리케이션을 위한 GPU 리소스의 효율적인 관리를 촉진합니다.GPUStack는 vLLM 및 SGLang을 포함한 고성능 AI 모델 서비스를 위해 설계된 GPU 클러스터 관리 도구로, 필요에 따라 SSH로 접근 가능한 GPU 인스턴스를 제공합니다. AI 애플리케이션을 위한 GPU 리소스의 효율적인 관리를 촉진합니다.

Strata

AI GitHub 저장소

#23

소비자 하드웨어에서 Qwen3.8-Flash-Next의 배포를 가능하게 하는 추론 엔진입니다. Windows 및 Linux에서 원클릭 설치를 지원하며, OpenAI 및 Anthropic API와의 통합과 선택적 이미지 입력 기능을 제공합니다.Strata는 소비자 하드웨어에서 Qwen3.8-Flash-Next의 배포를 가능하게 하는 추론 엔진입니다. Windows 및 Linux에서 원클릭 설치를 지원하며, OpenAI 및 Anthropic API와의 통합과 선택적 이미지 입력 기능을 제공합니다.

omlx

AI GitHub 저장소

#138

Apple Silicon을 위해 설계된 LLM 추론 서버로, 지속적인 배치 처리와 SSD 캐싱 기능을 제공합니다. macOS 메뉴 바에서 직접 관리되며, 대형 언어 모델을 다루는 개발자에게 효율적이고 간소화된 경험을 제공합니다.omlx는 Apple Silicon을 위해 설계된 LLM 추론 서버로, 지속적인 배치 처리와 SSD 캐싱 기능을 제공합니다. macOS 메뉴 바에서 직접 관리되며, 대형 언어 모델을 다루는 개발자에게 효율적이고 간소화된 경험을 제공합니다.

Seldon Core

AI GitHub 저장소

Kubernetes에서 AI 시스템을 배포, 관리 및 확장하기 위한 MLOps 및 LLMOps 프레임워크입니다. 파이프라인, 자동 확장, 다중 모델 서빙과 같은 기능을 통해 클라우드 전반에 걸쳐 다양한 모델 유형의 표준화된 배포를 가능하게 하여 모듈식 및 데이터 중심 애플리케이션을 지원합니다.Seldon Core는 Kubernetes에서 AI 시스템을 배포, 관리 및 확장하기 위한 MLOps 및 LLMOps 프레임워크입니다. 파이프라인, 자동 확장, 다중 모델 서빙과 같은 기능을 통해 클라우드 전반에 걸쳐 다양한 모델 유형의 표준화된 배포를 가능하게 하여 모듈식 및 데이터 중심 애플리케이션을 지원합니다.

KServe AI 추론 플랫폼

AI GitHub 저장소

Kubernetes에서 확장 가능하고 다중 프레임워크 배포를 위해 설계된 표준화된 분산 AI 추론 플랫폼입니다. 생성적 및 예측적 AI 모델을 지원하여 다양한 프레임워크에서 효율적이고 유연한 AI 모델 서비스를 가능하게 합니다.KServe는 Kubernetes에서 확장 가능하고 다중 프레임워크 배포를 위해 설계된 표준화된 분산 AI 추론 플랫폼입니다. 생성적 및 예측적 AI 모델을 지원하여 다양한 프레임워크에서 효율적이고 유연한 AI 모델 서비스를 가능하게 합니다.

TraceML

AI GitHub 저장소

Polyaxon TraceML은 AI/ML 데이터 추적, 시각화, 설명 가능성 및 드리프트 감지를 위해 설계된 엔진입니다. 기계 학습 모델을 효과적으로 모니터링하고 관리하기 위한 종합적인 대시보드를 제공합니다.

Radicalbit AI 모니터링

AI GitHub 저장소

생산 환경에서 AI 모델을 감독하기 위한 종합 솔루션입니다. 모델 성능과 신뢰성을 보장하는 도구를 제공하여 AI 기술에 의존하는 기업에 필수적입니다.Radicalbit AI 모니터링은 생산 환경에서 AI 모델을 감독하기 위한 종합 솔루션입니다. 모델 성능과 신뢰성을 보장하는 도구를 제공하여 AI 기술에 의존하는 기업에 필수적입니다.

TruLens 평가 도구

AI GitHub 저장소

대형 언어 모델(LLM) 및 AI 에이전트의 실험을 평가하고 추적하기 위해 설계된 GitHub 프로젝트입니다. 성능을 평가하고 AI 실험을 효과적으로 관리할 수 있는 도구를 제공합니다.TruLens는 대형 언어 모델(LLM) 및 AI 에이전트의 실험을 평가하고 추적하기 위해 설계된 GitHub 프로젝트입니다. 성능을 평가하고 AI 실험을 효과적으로 관리할 수 있는 도구를 제공합니다.

Whylogs 데이터 로깅 라이브러리

AI GitHub 저장소

머신 러닝 모델과 데이터 파이프라인을 위해 설계된 오픈 소스 데이터 로깅 라이브러리입니다. 데이터 품질과 모델 성능에 대한 가시성을 제공하며, 안전성과 견고성을 보장하기 위해 개인 정보 보호 데이터 수집을 지원합니다.Whylogs는 머신 러닝 모델과 데이터 파이프라인을 위해 설계된 오픈 소스 데이터 로깅 라이브러리입니다. 데이터 품질과 모델 성능에 대한 가시성을 제공하며, 안전성과 견고성을 보장하기 위해 개인 정보 보호 데이터 수집을 지원합니다.

Cua

AI GitHub 저장소

크로스 OS 플릿, 드라이버 및 AI 교육 및 평가를 위한 벤치마크를 통해 컴퓨터 사용을 향상시키기 위해 설계된 오픈 소스 프로젝트입니다. 데이터 생성 프로세스를 간소화하는 것을 목표로 합니다.Cua는 크로스 OS 플릿, 드라이버 및 AI 교육 및 평가를 위한 벤치마크를 통해 컴퓨터 사용을 향상시키기 위해 설계된 오픈 소스 프로젝트입니다. 데이터 생성 프로세스를 간소화하는 것을 목표로 합니다.

mlc-llm

AI GitHub 저장소

기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.mlc-llm은 기계 학습 컴파일을 활용하여 배포 프로세스를 간소화하는 범용 LLM 배포 엔진입니다. 다양한 플랫폼에서 대규모 언어 모델을 배포하는 효율성과 확장성을 향상시키기 위해 설계되었습니다.

MNN

AI GitHub 저장소

Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.MNN은 Alibaba에서 개발한 고성능 경량 추론 엔진입니다. 이는 장치 내 LLM 및 엣지 AI 애플리케이션을 최적화하도록 설계되어 빠르고 효율적인 추론 기능을 제공합니다.

ms-swift

AI GitHub 저장소

600개 이상의 대형 언어 모델(LLM)과 300개 다중 모달 언어 모델(MLLM)에 대한 PEFT 또는 전체 매개변수 조정을 가능하게 하는 GitHub 리포지토리입니다. Qwen3.8, DeepSeek-V4 및 GLM-5.1과 같은 모델을 지원하며 AI 모델 교육 및 배포의 유연성을 제공합니다.ms-swift는 600개 이상의 대형 언어 모델(LLM)과 300개 다중 모달 언어 모델(MLLM)에 대한 PEFT 또는 전체 매개변수 조정을 가능하게 하는 GitHub 리포지토리입니다. Qwen3.8, DeepSeek-V4 및 GLM-5.1과 같은 모델을 지원하며 AI 모델 교육 및 배포의 유연성을 제공합니다.

LMCache

AI GitHub 저장소

대형 언어 모델(LLM)의 효율성을 향상시키기 위해 설계된 고성능 키-값 캐시 레이어입니다. 데이터 검색 속도를 최적화하여 AI 애플리케이션의 처리 속도와 성능을 개선합니다.LMCache는 대형 언어 모델(LLM)의 효율성을 향상시키기 위해 설계된 고성능 키-값 캐시 레이어입니다. 데이터 검색 속도를 최적화하여 AI 애플리케이션의 처리 속도와 성능을 개선합니다.

Soup

AI GitHub 저장소

수프는 단일 YAML 파일을 사용하여 대형 언어 모델(LLM)의 미세 조정을 가능하게 하는 GitHub 리포지토리입니다. 레이어 스트리밍을 활용하여 4GB 노트북 GPU에서 80억 개의 매개변수를 가진 모델을 훈련시켜, 제한된 하드웨어에서 고급 AI 모델 훈련을 접근 가능하게 합니다.

GenieX

AI GitHub 저장소

Qualcomm 장치에서 NPU, GPU 및 CPU를 활용하여 최전선 LLM 및 VLM을 로컬에서 실행할 수 있게 해줍니다. 최소한의 코드로 프로세스를 단순화하여 효율적인 AI 모델 배포를 제공합니다.GenieX는 Qualcomm 장치에서 NPU, GPU 및 CPU를 활용하여 최전선 LLM 및 VLM을 로컬에서 실행할 수 있게 해줍니다. 최소한의 코드로 프로세스를 단순화하여 효율적인 AI 모델 배포를 제공합니다.

GPTCache

AI GitHub 저장소

대형 언어 모델(LLM)을 위해 설계된 의미론적 캐시로, LangChain 및 llama_index와 완전히 통합되어 있습니다. 의미론적 데이터를 캐싱하여 LLM의 성능을 최적화하고 효율성을 높이며 계산 부하를 줄입니다.GPTCache는 대형 언어 모델(LLM)을 위해 설계된 의미론적 캐시로, LangChain 및 llama_index와 완전히 통합되어 있습니다. 의미론적 데이터를 캐싱하여 LLM의 성능을 최적화하고 효율성을 높이며 계산 부하를 줄입니다.

FlashInfer

AI GitHub 저장소

대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.FlashInfer는 대형 언어 모델(LLM)을 제공하기 위해 설계된 커널 라이브러리입니다. 이는 LLM의 효율적인 배포 및 관리를 용이하게 하여 개발자가 GitHub를 통해 기능을 기여하고 향상시킬 수 있도록 합니다.

AI 매니저

AI GitHub 저장소

AI 코딩 도구의 사용을 간소화하기 위해 설계된 데스크탑 애플리케이션입니다. 개발자에게 AI 모델을 효율적으로 관리하고 배포할 수 있는 통합 환경을 제공하여 생산성과 협업을 향상시킵니다.AI 매니저는 AI 코딩 도구의 사용을 간소화하기 위해 설계된 데스크탑 애플리케이션입니다. 개발자에게 AI 모델을 효율적으로 관리하고 배포할 수 있는 통합 환경을 제공하여 생산성과 협업을 향상시킵니다.