AWS Data Lake группы BMW

До миграции существующее озеро данных группы BMW с трудом справлялось с растущими потребностями инженеров данных и аналитиков. Его жесткая, локальная природа приводила к разрозненности данных, сложной координации между командами и длительным срокам реализации новых проектов, тем самым замедляя инновации. Компания искала решение, которое обеспечивало бы гибкость, масштабируемость и доступ к данным в режиме реального времени для телеметрии автомобилей, а также интегрировало возможности аналитики и машинного обучения. Крайне важно, чтобы решение обеспечивало надежное управление для соблюдения конфиденциальности и безопасности.

Используя управляемые сервисы AWS, включая Amazon Athena, Amazon S3, Amazon Kinesis Data Firehose и AWS Glue, группа BMW значительно сократила сложность настройки. Это позволило их командам, занимающимся платформой, приемом данных и вариантами использования, работать с большей автономией и гибкостью посредством сквозных процессов DevOps. Был реализован современный веб-портал, позволяющий пользователям находить доверенные наборы данных с помощью передового алгоритма поиска и запрашивать данные для получения новых аналитических сведений. CDH теперь ежедневно обрабатывает терабайты анонимных телеметрических данных от миллионов подключенных автомобилей BMW и MINI, обеспечивая проактивный мониторинг индикаторов состояния автомобиля и более быстрое решение проблем.

Архитектура разделяет поставщиков и потребителей данных: поставщики используют такие сервисы, как Amazon Kinesis Data Firehose, AWS Lambda, AWS Glue и Amazon EMR для приема и преобразования данных, в то время как потребители используют такие сервисы, как Amazon Athena, Amazon SageMaker, AWS Glue и Amazon EMR для использования данных. Данные хранятся в бакетах Amazon S3, а схемы каталогизируются в AWS Glue. Разработка удобочитаемого каталога данных и портала данных повышает прозрачность и производительность для более чем 500 пользователей. GraphQL через AWS AppSync используется для масштабируемых, универсальных API, значительно ускоряя разработку приложений, позволяя разработчикам определять конкретные структуры полезной нагрузки данных и параметры запросов.

Озеро данных на базе AWS служит основой для ИТ-решений группы BMW, основанных на данных, позволяя автоматически и независимо масштабироваться на бессерверной архитектуре. Это ускоряет инновации по сравнению с их предыдущим локальным решением, которое требовало обширного управления инфраструктурой и планирования мощностей. Группа BMW планирует открыть исходный код ключевых компонентов CDH, включая его API, архитектуру и портал данных, в соответствии с их ролью учредителя Gaia-X. Этот стратегический шаг будет и дальше стимулировать их цифровую трансформацию, принося пользу всему бизнесу за счет улучшения клиентского опыта, новых сервисов мобильности и внутренних бизнес-аналитических данных.