설명
MLflow는 에이전트, 대형 언어 모델(LLM) 및 기계 학습(ML) 모델을 위해 맞춤화된 가장 큰 오픈 소스 AI 엔지니어링 플랫폼입니다. 이 플랫폼은 모든 규모의 팀이 생산 품질의 AI 애플리케이션을 디버깅, 평가, 모니터링 및 최적화할 수 있도록 하며, 비용을 효과적으로 관리하고 모델 및 데이터에 대한 접근을 제어할 수 있게 합니다.
매달 3천만 건 이상의 다운로드를 기록하는 MLflow는 수천 개의 조직이 AI를 자신 있게 생산에 배포하는 데 신뢰받고 있습니다. 이 플랫폼의 포괄적인 기능 세트에는 생산 품질의 가시성, 평가, 프롬프트 관리 및 최적화, 비용 및 모델 접근 관리를 위한 AI 게이트웨이가 포함되어 있습니다. MLflow는 OpenAI, Claude, Gemini 및 LangChain을 포함한 다양한 통합을 지원합니다.
MLflow의 가시성 기능은 사용자가 LLM 애플리케이션 및 에이전트의 전체 추적을 캡처하여 그들의 행동에 대한 깊은 통찰을 제공합니다. OpenTelemetry를 기반으로 구축되어 있으며, 모든 LLM 제공자 및 에이전트 프레임워크를 지원하여 사용자가 생산 품질, 비용 및 안전성을 효과적으로 모니터링할 수 있도록 합니다.
평가 기능은 체계적인 평가를 가능하게 하며, 시간에 따른 품질 메트릭을 추적하고 생산에 도달하기 전에 회귀를 식별할 수 있게 합니다. 사용자는 50개 이상의 내장 메트릭 및 LLM 심사자 중에서 선택하거나 유연한 API를 통해 자신만의 메트릭을 정의할 수 있습니다. 또한 MLflow는 정확성, 지연 시간, 실행, 준수, 관련성 및 안전성을 포함한 다양한 차원에서 AI 기반 분석을 사용하여 추적에서 문제를 자동으로 감지합니다.
프롬프트 관리를 위해 MLflow는 사용자가 프롬프트의 버전을 관리하고 테스트하며 배포할 수 있도록 완전한 계보 추적을 제공합니다. 또한 최신 알고리즘을 사용하여 프롬프트를 최적화하여 성능을 향상시킵니다. 통합 API 게이트웨이는 모든 LLM 제공자와의 상호작용을 간소화하며, OpenAI 호환 인터페이스를 통해 속도 제한을 관리하고 비용을 제어합니다.
MLflow 에이전트 서버는 단일 명령으로 에이전트를 생산에 배포할 수 있도록 하며, 자동 요청 검증 및 내장 추적 기능을 갖춘 FastAPI 기반 호스팅 솔루션을 제공합니다. Apache 2.0 라이센스 하에 완전한 오픈 소스 플랫폼인 MLflow는 사용이 무료이며 공급업체 종속이 없으며, 모든 클라우드, 프레임워크 또는 도구와 호환됩니다. Fortune 500 기업 및 전 세계 수많은 팀에서 대규모로 사용하여 생산 준비 상태가 검증되었습니다.
MLflow의 핵심 기능
오픈 소스
생산 준비 완료
가시성
자동화된 LLM 평가
프롬프트 관리
AI 게이트웨이
에이전트 서버
100개 이상의 AI 프레임워크와 통합
인간 피드백 수집
비용 추적
MLflow 시작하기
추적 캡처: 최소한의 코드를 추가하여 추적, 메트릭 및 매개변수를 캡처하기 시작합니다.
코드 실행: MLflow UI에서 추적 및 메트릭을 탐색하면서 평소처럼 코드를 실행합니다.
에이전트 배포: 단일 명령을 사용하여 에이전트를 생산에 배포합니다.
애플리케이션 모니터링: 가시성 기능을 활용하여 생산 품질 및 비용을 추적합니다.
MLflow의 사용 사례
- AI 애플리케이션 모니터링
- LLM 평가
- 프롬프트 최적화
- 에이전트 배포
- 비용 관리
