설명
Databricks Feature Store는 AI 및 머신러닝 모델에 사용되는 피처를 위한 중앙 집중식 레지스트리 역할을 합니다. Unity Catalog 내에서 피처 테이블과 모델을 등록함으로써 사용자는 통합된 거버넌스, 계보 추적, 시점 조인 기능을 활용하고 워크스페이스 간 피처를 공유하고 검색할 수 있습니다. 이 플랫폼은 데이터 수집 및 피처 테이블 생성부터 모델 학습 및 배치 추론에 이르기까지 전체 모델 학습 워크플로우를 단일 환경 내에서 간소화합니다.
더 읽기
주요 기능에는 원시 데이터를 수집하고, 피처 테이블을 생성하고, 모델을 학습시키고, 배치 추론을 수행하기 위한 데이터 파이프라인이 포함됩니다. 또한 밀리초 지연 시간으로 모델 및 피처 서빙 엔드포인트에 원클릭으로 액세스할 수 있으며, 데이터 및 모델 모니터링 기능도 제공합니다. Databricks Feature Store의 피처가 학습에 사용될 때 모델은 자동으로 계보를 추적합니다. 추론 시 모델은 최신 피처 값을 검색합니다. Feature Store는 실시간 애플리케이션을 위한 온디맨드 피처 계산도 처리하여 학습-서빙 편향을 제거하고 모든 피처 조회 및 계산을 관리하여 클라이언트 측 코드를 간소화합니다.
Unity Catalog가 활성화된 워크스페이스의 경우 Databricks Feature Store는 피처 개발, 검색, 공유 및 서빙을 위한 강력한 도구 세트를 제공합니다. 사용자는 피처 테이블을 생성 및 관리하고, 시간 창 집계를 포함하는 선언적 피처를 정의하고, 오프라인 학습 또는 온라인 서빙을 위해 이를 구체화할 수 있습니다. 피처 탐색은 Catalog Explorer 및 Features UI를 통해 용이하게 이루어지며, 태그를 사용하여 피처 테이블을 분류하고 관리할 수 있습니다. 이 플랫폼은 레이블 관찰 시점의 피처 값을 반영하여 학습 데이터 세트에 대한 시점 정확성을 보장합니다. Databricks Lakebase를 기반으로 하는 온라인 피처 스토어는 온라인 애플리케이션 및 실시간 ML 모델에 피처 데이터를 서빙할 수 있습니다. 모델 서빙에는 온라인 스토어에서 자동 피처 조회가 포함되며, 외부 애플리케이션을 위해 피처 서빙 엔드포인트를 노출할 수 있습니다. 추론 시 온디맨드 피처 계산은 실시간 기능을 더욱 향상시킵니다. 거버넌스 및 계보는 Unity Catalog를 통해 관리되며, 액세스를 제어하고 피처 테이블, 모델 및 함수 계보에 대한 가시성을 제공합니다.
- 카테고리머신러닝 플랫폼
- 배포클라우드
- 플랫폼웹
Databricks Feature Store의 핵심 기능
중앙 집중식 피처 레지스트리
Unity Catalog 통합
내장 거버넌스
피처 계보 추적
시점 조인
워크스페이스 간 피처 공유
피처 검색
통합 모델 학습 워크플로우
피처 엔지니어링을 위한 데이터 파이프라인
배치 추론 기능
온라인 피처 서빙 엔드포인트
실시간 모델 서빙
온디맨드 피처 계산
학습-서빙 편향 제거
클라이언트 측 코드 간소화
Databricks Feature Store 사용 방법은?
피처 개발: 선언적 API를 사용하여 피처 테이블을 생성하고 관리합니다.
피처 구체화: 오프라인 학습 또는 온라인 서빙을 위해 선언적 피처를 준비합니다.
피처 검색: Catalog Explorer 및 Features UI를 통해 피처 테이블을 탐색하고 관리합니다.
모델 학습: 피처 테이블을 사용하여 머신러닝 모델을 학습시킵니다.
피처 서빙: 실시간 애플리케이션을 위해 온라인 피처 스토어를 배포합니다.
데이터 및 모델 모니터링: 성능을 추적하고 드리프트를 감지합니다.
Databricks Feature Store의 사용 사례
- ML 모델 학습
- 실시간 추론
- 피처 관리
- 데이터 계보 추적
- 협업 피처 엔지니어링
- 배치 점수화
- 검색 증강 생성
