설명
Databricks 모델 서빙은 고전 기계 학습 모델, 생성 AI 모델 및 AI 에이전트를 배포하려는 기업을 위한 포괄적인 솔루션을 제공합니다. 이 플랫폼은 Azure OpenAI 및 AWS Bedrock과 같은 독점 모델과 Llama 및 Mistral과 같은 오픈 소스 모델을 모두 지원합니다. 사용자는 자신의 데이터로 훈련된 고전 ML 모델이나 미세 조정된 오픈 소스 모델을 제공할 수 있어 모델 배포의 유연성을 제공합니다. 제공된 모델은 대규모 배치 추론 및 실시간 애플리케이션을 포함한 다양한 워크플로우에서 엔드포인트로 쉽게 활용될 수 있습니다.
더 읽기
Databricks 모델 서빙의 주요 기능 중 하나는 내장된 거버넌스, 계보 및 모니터링 기능으로, 이는 고품질 출력을 보장합니다. 이는 AI 모델에 대한 엄격한 준수 및 감독이 필요한 조직에 특히 중요합니다. 이 플랫폼은 모든 유형의 AI 모델 및 에이전트의 배포 프로세스를 간소화하여 사용자가 CPU 또는 GPU에서 자신의 데이터로 구축된 맞춤형 모델이나 사전 훈련된 오픈 소스 모델을 배포할 수 있도록 합니다. 자동화된 컨테이너 빌드 및 인프라 관리로 유지 관리 비용을 줄이고 배포 속도를 높여 기업이 AI 시스템을 통해 가치를 제공하는 데 집중할 수 있도록 합니다.
Databricks 모델 서빙은 모든 모델에 대한 통합 관리를 제공하여 PyFunc 및 scikit-learn과 같은 맞춤형 ML 모델과 Databricks 또는 기타 공급자에서 호스팅되는 기초 모델을 쉽게 접근하고 관리할 수 있습니다. 이 통합 사용자 인터페이스 및 API는 관리 프로세스를 간소화하여 사용자 경험을 향상시킵니다. 또한, 이 플랫폼은 효율적인 서버리스 AI 추론을 위한 손쉬운 배치 추론을 가능하게 하여 다양한 데이터 유형 및 모델에 걸쳐 대규모 데이터 세트에서 AI 추론을 수행할 수 있습니다. Databricks SQL, 노트북 및 워크플로우와의 통합은 대규모로 AI를 적용하는 데 도움을 줍니다.
이 플랫폼은 비용 효율적으로 설계되어 있으며, CPU 및 GPU 지원이 있는 고가용성 서버리스 서비스에서 저지연 API로 모델을 제공합니다. 사용자는 중요한 요구 사항을 충족하기 위해 제로에서 확장하고 요구 사항이 변경됨에 따라 축소할 수 있으며, 유연한 가격 옵션이 제공됩니다. Databricks는 인프라 관리 및 유지 관리 비용을 처리하여 조직이 비즈니스 가치를 제공하는 데 집중할 수 있도록 합니다.
- 카테고리MLOps 및 모델 배포
- 요금제토큰당 지불
- 배포서버리스
- 플랫폼클라우드
Mosaic AI Model Serving의 핵심 기능
AI 모델에 대한 통합 배포
고전 ML 및 생성 AI 모델 지원
내장된 거버넌스 및 모니터링
자동화된 컨테이너 빌드
손쉬운 배치 추론
서버리스 AI 추론
비용 효율적인 저지연 API
통합 관리 인터페이스
Mosaic AI Model Serving 사용 방법은?
배포: 모델 유형을 선택하고 Databricks에 배포합니다.
통합: 제공된 모델을 워크플로우의 엔드포인트로 사용합니다.
모니터링: 품질 보증을 위해 내장된 거버넌스 및 모니터링 도구를 활용합니다.
확장: 작업 부하에 따라 리소스를 조정합니다.
Mosaic AI Model Serving의 사용 사례
- 실시간 추천
- 배치 처리
- 모델 거버넌스
- 맞춤형 모델 배포
- 확장 가능한 AI 애플리케이션
