Описание
lakeFS — это система контроля версий данных с открытым исходным кодом, предназначенная для преобразования вашего объектного хранилища в репозитории, подобные Git. Это позволяет пользователям управлять своими озерами данных с такой же точностью и контролем, как они управляют кодом, используя ветки, коммиты и слияния. Платформа особенно полезна для команд ИИ и инженерии данных, предоставляя контрольный уровень, который обеспечивает управление данными, воспроизводимость и снижение трения доступа.
Читать далее
С помощью lakeFS пользователи могут выполнять операции, подобные Git, с данными, такие как ветвление и слияние, что облегчает создание воспроизводимых конвейеров данных и соблюдение стандартов качества данных. Эта система построена на высокомасштабируемой архитектуре, которая управляет жизненным циклом данных, их происхождением и унифицированным доступом, что делает ее идеальной для команд ИИ и инженерии данных.
lakeFS поддерживает широкий спектр интеграций с популярными инструментами и технологиями инженерии данных, включая Spark, Delta Lake, AWS CLI, Airflow и другие. Она совместима со всеми основными облачными провайдерами, такими как AWS, Azure и GCP, что обеспечивает безопасное хранение данных и метаданных в виртуальной частной сети пользователя.
Платформа предлагает бесплатную версию с открытым исходным кодом, а также управляемый облачный сервис. Она разработана для упрощения регуляторных аудитов, предоставляя встроенные доказательства и превентивные меры контроля данных, что снижает риски соблюдения норм. lakeFS также повышает продуктивность, позволяя командам тестировать изменения в конвейерах и моделях в изоляции без дублирования данных и мгновенно откатываться от инцидентов с данными.
В целом, lakeFS позволяет организациям раскрыть управление данными в масштабе, ускоряя инициативы в области ИИ и машинного обучения, применяя проверенные лучшие практики инженерии к управлению данными.
- КатегорияMLOps и развёртывание моделей
- Модель ценообразованияFreemium
- РазвёртываниеОблако
- ПлатформыAWS, Azure, GCP
Основные функции lakeFS
Контроль версий данных с открытым исходным кодом
Операции, подобные Git, для данных
Ветвление и слияние данных
Воспроизводимые конвейеры данных
Стандарты качества данных
Интеграция с популярными инструментами данных
Поддержка AWS, Azure, GCP
Ветвление без копирования
Контроль доступа на основе ролей
Журналы аудита
Как использовать lakeFS?
Настройка: Настройте lakeFS с вашим объектным хранилищем
Использование: Выполняйте операции, подобные Git, с вашими данными
Интеграция: Подключите к вашим существующим инструментам данных
Оптимизация: Улучшите управление данными и воспроизводимость
Варианты использования lakeFS
- Управление данными
- Обучение ИИ
- Версионирование данных
- Тестирование конвейеров
- Готовность к аудиту
