설명
KServe는 자체 호스팅 AI 추론을 위한 오픈 소스 표준으로서의 입지를 공고히 하며 CNCF에 합류했습니다. 이 Kubernetes 네이티브 플랫폼은 생성형 AI와 예측형 AI 모두에 대한 통합 솔루션을 제공하며, 빠른 배포에 충분히 간단하면서도 엔터프라이즈급 워크로드에 충분히 강력하도록 설계되었습니다.
더 읽기
생성형 AI의 경우, KServe는 고성능 LLM 서빙을 위해 vLLM 및 llm-d와 같은 최적화된 백엔드를 제공합니다. 원활한 통합을 위한 OpenAI 호환 프로토콜, 최적화된 메모리 관리 기능이 있는 GPU 가속, 로드 시간을 줄이기 위한 모델 캐싱 기능을 갖추고 있습니다. 고급 기능에는 더 긴 시퀀스 처리를 위한 KV 캐시 오프로딩, 생성 워크로드에 맞춰진 요청 기반 자동 확장, 간소화된 배포를 위한 네이티브 Hugging Face 모델 지원이 포함됩니다.
예측형 AI 영역에서 KServe는 TensorFlow, PyTorch, scikit-learn, XGBoost, ONNX를 포함한 광범위한 프레임워크를 지원합니다. 예측자, 변환기 및 설명자 구성 요소 간의 지능형 라우팅을 가능하게 하며, InferenceGraph를 사용하여 카나리 롤아웃, 파이프라인 및 앙상블과 같은 고급 배포를 용이하게 합니다. 예측 워크로드를 위한 스케일 투 제로를 포함한 자동 확장은 핵심 기능이며, 예측 추론을 이해하기 위한 내장 모델 설명 가능성 및 페이로드 로깅, 이상치, 적대적 및 드리프트 탐지를 위한 고급 모니터링 기능도 제공합니다. 사용하지 않을 때 비용이 많이 드는 리소스에 대한 스케일 투 제로 기능을 통해 비용 효율성이 향상됩니다.
KServe는 머신러닝 모델 서빙을 위해 Kubernetes 사용자 정의 리소스 정의(CRD)를 통해 간단하면서도 강력한 API를 제공합니다. 자동 확장, 네트워킹, 상태 확인 및 서버 구성의 복잡성을 추상화하여 ML 배포에 최첨단 서빙 기능을 제공합니다. 이 플랫폼은 ML 프레임워크 전반에 걸쳐 표준 Kubernetes API를 보장하고, 사전/사후 처리 및 설명 가능성을 지원하며, LLM을 위한 OpenAI 사양 지원과 추론을 위한 카나리 롤아웃 및 A/B 테스트를 제공합니다.
아키텍처는 리비전 추적 및 A/B 테스트를 포함한 ML 모델의 수명 주기를 관리하는 제어부와 모델 서버에 대한 표준화된 추론 프로토콜과 요청/응답 API를 제공하는 데이터부를 포함합니다. 핵심 Kubernetes 리소스는 자동 확장, 네트워킹 및 상태 확인을 통해 ML 모델 배포를 단순화하는 InferenceService입니다. InferenceGraph는 파이프라인, 앙상블 및 다중 모델 워크플로를 통한 고급 배포를 가능하게 합니다. KServe는 안정적인 대규모 모델 추론을 위해 업계 리더들이 신뢰하고 있습니다.
- 카테고리MLOps 및 모델 배포
- 요금제오픈소스
- 배포Kubernetes 네이티브
- 플랫폼웹
KServe의 핵심 기능
AI 추론을 위한 Kubernetes 네이티브 플랫폼
생성형 AI 및 예측형 AI 통합 서빙
LLM을 위한 OpenAI 호환 프로토콜
GPU 가속 및 최적화된 메모리 관리
모델 캐싱 및 KV 캐시 오프로딩
생성 워크로드를 위한 요청 기반 자동 확장
네이티브 Hugging Face 모델 지원
다중 프레임워크 지원 (TensorFlow, PyTorch, scikit-learn, XGBoost, ONNX)
예측자, 변환기 및 설명자를 위한 지능형 라우팅
InferenceGraph를 통한 고급 배포 (파이프라인, 앙상블)
예측 워크로드를 위한 스케일 투 제로 자동 확장
내장 모델 설명 가능성 및 특징 속성
고급 모니터링 (페이로드 로깅, 이상치, 적대적, 드리프트 탐지)
ML 프레임워크 전반의 표준 Kubernetes API
추론을 위한 카나리 롤아웃 및 A/B 테스트
KServe 사용 방법은?
KServe 설치: Kubernetes 클러스터에 KServe 및 해당 종속성을 배포합니다.
InferenceService 생성: 사전 학습된 모델을 배포하기 위한 간단한 YAML 구성을 정의합니다.
예측자 구성: 모델 형식, 리소스(CPU, 메모리, GPU) 및 스토리지 URI를 지정합니다.
추론 요청 보내기: API 호출을 통해 배포된 모델을 사용하여 예측을 수행합니다.
KServe의 사용 사례
- LLM 서빙
- 예측 모델 배포
- 대규모 AI 추론
- 모델 설명 가능성
- 고급 배포 전략
- 비용 효율적인 AI
- Hugging Face 모델 통합
