Описание
DVC, или Data Version Control, — это система с открытым исходным кодом, предназначенная для управления данными и моделями в проектах машинного обучения. Она расширяет привычный рабочий процесс Git для обработки больших наборов данных, моделей машинного обучения и отслеживания экспериментов, облегчая командам, занимающимся наукой о данных и AI/ML, внедрение лучших практик разработки программного обеспечения.
Читать далее
DVC работает путем хранения метаданных о ваших данных и моделях в Git, в то время как фактические большие файлы хранятся отдельно во внешних облачных хранилищах, таких как Amazon S3, Google Cloud Storage или Azure Blob Storage. Такой подход гарантирует, что ваш репозиторий Git остается легким и быстрым, даже при работе с наборами данных петабайтного масштаба. Система обеспечивает версионирование данных и моделей, позволяя воспроизводить эксперименты и обеспечивая беспрепятственное сотрудничество между членами команды.
Ключевые возможности DVC включают версионирование данных, версионирование моделей, отслеживание экспериментов и управление конвейерами. Специалисты по данным могут отслеживать изменения в своих наборах данных и моделях, возвращаться к предыдущим версиям и делиться ими с другими. Функция отслеживания экспериментов позволяет регистрировать гиперпараметры, метрики и версии кода, связанные с каждым экспериментом, что облегчает анализ и сравнение. Конвейеры DVC позволяют определять и выполнять сложные рабочие процессы ML, гарантируя управление зависимостями и воспроизводимость вычислений.
Целевая аудитория DVC включает индивидуальных специалистов по данным, небольшие команды специалистов по данным, а также корпоративные команды по AI и инженерии данных. Для индивидуальных специалистов DVC предлагает расширение Git, которое применяет контроль версий данных к их рабочим процессам с минимальными накладными расходами. Для крупных организаций DVC предоставляет высокомасштабируемую инфраструктуру контроля версий данных, разработанную для сложных операций AI и сред больших данных, поддерживающую мультимодальные объектные хранилища и озера данных.
Ценностное предложение DVC заключается в его способности привнести структуру, воспроизводимость и сотрудничество в часто хаотичный мир науки о данных и машинного обучения. Относясь к данным и моделям с такой же строгостью, как и к коду, DVC помогает командам избегать распространенных ошибок, таких как дрейф данных, невоспроизводимые результаты и неэффективное сотрудничество, в конечном итоге ускоряя жизненный цикл разработки ML.
- КатегорияMLOps и развёртывание моделей
- Модель ценообразованияОткрытый исходный код
- РазвёртываниеЛокально, Облако
- ПлатформыВеб
Основные функции DVC
Контроль версий данных
Контроль версий моделей
Отслеживание экспериментов
Управление конвейерами
Интеграция с Git
Воспроизводимость
Функции для совместной работы
Масштабируемая инфраструктура
Открытый исходный код
Расширение для VS Code
Как использовать DVC?
Инициализация DVC: Выполните `dvc init` в каталоге вашего проекта для настройки DVC.
Добавление данных/моделей: Используйте `dvc add <файл>` для отслеживания ваших файлов данных или моделей.
Фиксация изменений: Зафиксируйте сгенерированные файлы `.dvc` в Git с помощью `git commit`.
Отправка данных: Отправьте ваши данные и модели в настроенное удаленное хранилище с помощью `dvc push`.
Воспроизведение экспериментов: Используйте `dvc repro` для повторного запуска ваших ML-конвейеров.
Обмен рабочими процессами: Сотрудничайте с членами команды, обмениваясь репозиториями Git и конфигурациями DVC.
Варианты использования DVC
- Версионирование данных
- Версионирование моделей
- Отслеживание экспериментов
- Управление ML-конвейерами
- Воспроизводимые исследования
- Совместная работа команды
- Управление большими данными
