Argo Workflows - Kubernetes Workflow Engine

Описание

Argo Workflows — это движок рабочих процессов с открытым исходным кодом, специально разработанный для управления параллельными задачами в Kubernetes. В качестве определения пользовательского ресурса Kubernetes (CRD) он позволяет пользователям определять рабочие процессы, где каждый шаг представляет собой контейнер, моделируя многоступенчатые рабочие процессы в виде последовательности задач или фиксируя зависимости с помощью направленного ациклического графа (DAG). Это делает его особенно полезным для вычислительно интенсивных задач, таких как машинное обучение и обработка данных, позволяя им выполняться за короткое время.

Argo Workflows является проектом, прошедшим выпуск в Cloud Native Computing Foundation (CNCF), и признан самым популярным движком выполнения рабочих процессов для Kubernetes. Он легковесный, масштабируемый и удобный в использовании, с поддержкой пользователей Python через Hera Python SDK. Платформа не зависит от облака, может работать на любом кластере Kubernetes и устраняет накладные расходы и ограничения устаревших сред на базе виртуальных машин и серверов.

Движок поддерживает широкий спектр функций, включая пользовательский интерфейс для визуализации и управления рабочими процессами, поддержку артефактов, шаблонизацию рабочих процессов и архивирование. Он также предлагает запланированные рабочие процессы с использованием cron, серверный интерфейс с REST API и различные методы декларации рабочих процессов. Дополнительные возможности включают ввод и вывод на уровне шагов, циклы, параметризацию, условные операторы, тайм-ауты, повторные попытки и оркестрацию ресурсов.

Argo Workflows используется более чем 200 организациями и интегрируется с несколькими проектами, такими как Argo Events, Hera, Katib и Kubeflow Pipelines. Он предоставляет клиентские библиотеки на Java, Golang, Python и Typescript и поддерживает несколько исполнителей, бюджеты на разрушение подов и триггеры вебхуков. Платформа идеально подходит для отраслей, связанных с машинным обучением, обработкой данных и CI/CD, предлагая надежное решение для управления сложными рабочими процессами в Kubernetes.

Основные функции Argo Workflows

• Движок рабочих процессов с открытым исходным кодом

• Реализация CRD для Kubernetes

• Поддержка DAG и пошаговых рабочих процессов

• Поддержка артефактов с несколькими вариантами хранения

• Шаблонизация рабочих процессов и архивирование

• Запланированные рабочие процессы с использованием cron

• Серверный интерфейс REST API

• Поддержка нескольких языков программирования

Как использовать Argo Workflows?

1. 1

   Определить: Создайте рабочие процессы с использованием контейнеров

2. 2

   Моделировать: Используйте DAG или шаги для зависимостей задач

3. 3

   Запустить: Выполните рабочие процессы на кластерах Kubernetes

4. 4

   Мониторинг: Используйте UI для визуализации и управления рабочими процессами

Варианты использования Argo Workflows

• Пipelines машинного обучения
• Обработка данных
• CI/CD
• Автоматизация инфраструктуры
• Пакетная обработка

Часто задаваемые вопросы Argo Workflows

• Что такое Argo Workflows?

  Argo Workflows — это движок рабочих процессов с открытым исходным кодом для управления параллельными задачами в Kubernetes.

• Как Argo Workflows поддерживает машинное обучение?

  Он позволяет пользователям эффективно выполнять вычислительно интенсивные задачи машинного обучения в Kubernetes.

• Каковы основные функции Argo Workflows?

  Ключевые функции включают поддержку DAG, управление артефактами, шаблонизацию рабочих процессов и доступ к REST API.

• Является ли Argo Workflows независимым от облака?

  Да, он может работать на любом кластере Kubernetes, независимо от облачного провайдера.

• Кто использует Argo Workflows?

  Более 200 организаций используют Argo Workflows, включая компании в области машинного обучения и CI/CD.

• Какие языки программирования поддерживает Argo Workflows?

  Он поддерживает Java, Golang, Python и Typescript через клиентские библиотеки.

• Может ли Argo Workflows обрабатывать сложные рабочие процессы?

  Да, он поддерживает сложные рабочие процессы с использованием направленных ациклических графов (DAG).

• Предоставляет ли Argo Workflows пользовательский интерфейс?

  Да, он предоставляет UI для визуализации и управления рабочими процессами.