설명
Argo Workflows는 Kubernetes에서 병렬 작업을 조정하기 위해 특별히 설계된 오픈 소스, 컨테이너 네이티브 워크플로 엔진입니다. Kubernetes 사용자 정의 리소스 정의(CRD)로서, 사용자가 각 단계가 컨테이너인 워크플로를 정의할 수 있게 하여, 다단계 워크플로를 작업의 순서로 모델링하거나 방향 비순환 그래프(DAG)를 사용하여 종속성을 캡처할 수 있습니다. 이는 머신 러닝 및 데이터 처리와 같은 계산 집약적인 작업에 특히 유용하여, 이들이 짧은 시간 안에 실행될 수 있도록 합니다.
Argo Workflows는 클라우드 네이티브 컴퓨팅 재단(CNCF)의 졸업 프로젝트로, Kubernetes를 위한 가장 인기 있는 워크플로 실행 엔진으로 인정받고 있습니다. 이 엔진은 경량이며 확장 가능하고 사용자 친화적이며, Hera Python SDK를 통해 Python 사용자에 대한 지원을 제공합니다. 이 플랫폼은 클라우드에 구애받지 않으며, 모든 Kubernetes 클러스터에서 실행할 수 있으며, 레거시 VM 및 서버 기반 환경의 오버헤드와 제한을 제거합니다.
이 엔진은 워크플로를 시각화하고 관리할 수 있는 사용자 인터페이스, 아티팩트 지원, 워크플로 템플릿화 및 아카이빙을 포함한 다양한 기능을 지원합니다. 또한 cron을 사용한 예약된 워크플로, REST API를 통한 서버 인터페이스 및 다양한 워크플로 선언 방법을 제공합니다. 추가 기능으로는 단계별 입력 및 출력, 루프, 매개변수화, 조건문, 타임아웃, 재시도 및 리소스 조정이 포함됩니다.
Argo Workflows는 200개 이상의 조직에서 사용되며, Argo Events, Hera, Katib 및 Kubeflow Pipelines와 같은 여러 프로젝트와 통합됩니다. Java, Golang, Python 및 Typescript에 대한 클라이언트 라이브러리를 제공하며, 여러 실행기, 포드 중단 예산 및 웹후크 트리거링을 지원합니다. 이 플랫폼은 머신 러닝, 데이터 처리 및 CI/CD에 관련된 산업에 적합하며, Kubernetes에서 복잡한 워크플로를 관리하기 위한 강력한 솔루션을 제공합니다.
Argo Workflows의 핵심 기능
오픈 소스 워크플로 엔진
Kubernetes CRD 구현
DAG 및 단계 기반 워크플로 지원
다양한 저장 옵션을 갖춘 아티팩트 지원
워크플로 템플릿화 및 아카이빙
cron을 사용한 예약된 워크플로
REST API 서버 인터페이스
여러 프로그래밍 언어 지원
Argo Workflows 사용 방법은?
정의: 컨테이너를 사용하여 워크플로 생성
모델링: 작업 종속성을 위해 DAG 또는 단계를 사용
실행: Kubernetes 클러스터에서 워크플로 실행
모니터링: UI를 사용하여 워크플로 시각화 및 관리
Argo Workflows의 사용 사례
- 머신 러닝 파이프라인
- 데이터 처리
- CI/CD
- 인프라 자동화
- 배치 처리