설명
Cortex는 프로덕션 환경에서 머신러닝 모델의 배포 및 관리를 간소화하도록 설계된 오픈 소스 프레임워크입니다. 실시간 예측부터 대규모 배치 처리까지 다양한 운영 요구 사항을 충족하며 ML 워크로드를 효율적으로 확장하기 위한 강력한 인프라를 제공합니다.
이 플랫폼은 서버리스 워크로드를 지원하여 수신되는 요청량에 따라 자동 확장되는 실시간 응답을 가능하게 합니다. 비동기 작업의 경우 Cortex는 백그라운드에서 요청을 처리하고 큐 길이에 따라 자동 확장할 수 있습니다. 또한 배치 처리를 용이하게 하여 분산되고 내결함성이 있는 작업을 온디맨드로 실행할 수 있습니다.
자동화된 클러스터 관리는 핵심 기능으로, CPU 및 GPU 인스턴스를 사용하는 클러스터를 위한 탄력적인 자동 확장을 제공합니다. 자동 백업을 통해 스팟 인스턴스에서 워크로드를 실행할 수 있으며, 별도의 구성으로 여러 클러스터를 생성할 수 있습니다. 프로비저닝은 선언적 구성 또는 Terraform 제공자를 통해 관리되며 CI/CD 파이프라인과 원활하게 통합됩니다.
Cortex는 관찰 가능성을 강조하여 모든 모니터링 도구로 메트릭을 전송하거나 사전 구축된 Grafana 대시보드를 활용할 수 있도록 합니다. 모든 로그 관리 도구에 대한 로그 스트리밍을 지원하며 AWS CloudWatch와의 사전 구축된 통합 기능을 제공합니다. 이 프레임워크는 AWS EKS를 위해 특별히 구축되어 워크로드의 안정적이고 비용 효율적인 확장을 보장합니다. 데이터 개인 정보 보호를 위해 VPC와 통합되고 인증 및 권한 부여 워크플로우를 위해 IAM과 통합됩니다.
이 프로젝트는 원래 작성자가 더 이상 적극적으로 유지 관리하지 않는 것으로 알려져 있지만, 그 아키텍처와 기능은 AWS 인프라에서 대규모 머신러닝을 운영하려는 조직에게 포괄적인 솔루션을 제공합니다. GitHub의 프로젝트 기록은 지속적인 개발과 커뮤니티 기여를 보여주며 MLOps 분야에서의 유용성을 반영합니다.
Cortex의 핵심 기능
대규모 머신러닝을 위한 프로덕션 인프라
머신러닝 모델 배포, 관리 및 확장
서버리스, 실시간, 비동기 및 배치 워크로드
자동 확장 기능을 갖춘 자동화된 클러스터 관리
온디맨드 백업을 지원하는 스팟 인스턴스 지원
CI/CD 및 관찰 가능성 통합
선언적 구성 또는 Terraform 제공자를 통한 프로비저닝
메트릭 및 로그 스트리밍 기능
안정적인 확장을 위한 AWS EKS 기반 구축
데이터 개인 정보 보호를 위한 VPC 통합
인증 및 권한 부여를 위한 IAM 통합
Cortex 시작하기
Cortex CLI 설치
AWS 환경 구성
ML 모델 배포 구성 정의
Cortex 클러스터에 모델 배포
모델 성능 및 로그 모니터링
필요에 따라 클러스터 확장
Cortex의 사용 사례
- 실시간 ML 추론
- 비동기 ML 처리
- 배치 ML 작업 실행
- 대규모 ML 모델 관리
- 비용 최적화 ML 배포
- MLOps 파이프라인 통합
