설명
Seldon Core 2는 Kubernetes 환경 내에서 AI 시스템의 배포, 관리 및 확장을 위해 설계된 포괄적인 MLOps 및 LLMOps 프레임워크입니다. 온프레미스 또는 모든 클라우드에서 다양한 모델 유형의 배포에 대한 표준화된 접근 방식을 제공하여 즉시 사용 가능한 프로덕션 준비 애플리케이션을 보장합니다. 이 프레임워크는 단일 모델뿐만 아니라 복잡하고 모듈식이며 데이터 중심적인 애플리케이션을 처리하는 데 특히 능숙합니다.
더 읽기
이 프레임워크의 기능은 파이프라인을 통한 구성 가능한 AI 애플리케이션 구축으로 확장되며, 이는 Kafka와 같은 기술을 활용하여 서로 다른 구성 요소 간의 실시간 데이터 스트리밍을 지원할 수 있습니다. 또한 기본 또는 사용자 지정 논리에 의해 구동되는 모델 및 애플리케이션 구성 요소 모두에 대한 강력한 자동 확장 기능을 제공합니다. 비용 효율성을 위해 Seldon Core는 다중 모델 서빙을 지원하여 여러 모델을 공유 추론 서버에 통합할 수 있으며, 사용 가능한 메모리보다 더 많은 모델을 배포할 수 있는 오버커밋 기능을 통해 리소스 활용도가 낮은 인프라 비용을 절감합니다.
Seldon Core는 라우팅 기능을 통해 실험을 촉진하여 후보 모델 또는 파이프라인에 대한 A/B 테스트 및 섀도우 배포를 가능하게 합니다. 사용자는 사용자 지정 논리, 드리프트 및 이상치 감지를 구현하고 플러그 앤 플레이 사용자 지정 구성 요소를 통해 대규모 언어 모델(LLM)과 통합할 수 있으며, Seldon의 광범위한 ML/AI 제품 생태계와 원활하게 통합됩니다. 이 프레임워크는 차세대 ML 모델 서빙 프레임워크에 대한 연구에 영향을 받아 고급 모델 서빙의 주요 요구 사항을 해결하는 것을 목표로 합니다.
설치 및 구성은 Kubernetes 내에서 관리되며, 서버, 모델, 파이프라인, 실험 및 성능 튜닝에 대한 광범위한 문서가 제공됩니다. Seldon Core는 Business Source License 조건에 따라 배포되며, 모든 기여 또한 이 조건에 따라 라이선스가 부여됩니다. 이 프로젝트는 활발하게 개발되고 있으며 강력한 커뮤니티와 정기적인 업데이트를 통해 조직이 AI 이니셔티브를 대규모로 운영화하는 데 강력한 도구가 됩니다.
- 카테고리MLOps 및 모델 배포
- 요금제오픈소스
- 배포Kubernetes
Seldon Core의 핵심 기능
MLOps 및 LLMOps 프레임워크
Kubernetes 네이티브 배포
표준화된 모델 배포
모듈식 및 데이터 중심 AI 애플리케이션
구성 가능한 AI 파이프라인
Kafka를 사용한 실시간 데이터 스트리밍
모델 및 구성 요소 자동 확장
비용 효율성을 위한 다중 모델 서빙
모델 밀도 증가를 위한 오버커밋
A/B 테스트 및 섀도우 배포
사용자 지정 구성 요소 통합 (LLM, 드리프트 감지)
즉시 사용 가능한 프로덕션 준비
온프레미스 및 클라우드 배포 지원
Seldon Core 시작하기
배포: 머신러닝 모델 및 AI 애플리케이션을 패키징하여 Kubernetes에 배포합니다.
구성: 파이프라인, 자동 확장 및 다중 모델 서빙 구성을 설정합니다.
통합: 고급 논리 및 LLM을 위한 사용자 지정 구성 요소를 통합합니다.
모니터링: 프로덕션 시스템을 위한 내장 모니터링 기능을 활용합니다.
관리: 수천 개의 프로덕션 머신러닝 모델을 감독하고 관리합니다.
최적화: 성능을 조정하고 다양한 모델 라우팅 전략을 실험합니다.
Seldon Core의 사용 사례
- 모델 배포
- AI 애플리케이션 오케스트레이션
- 실시간 추론
- 비용 최적화
- 모델 실험
- LLMOps
- 데이터 중심 AI
