BMW Group AWS Data Lake

Antes da migração, o data lake existente do BMW Group lutava para atender às crescentes demandas de engenheiros de dados e analistas. Sua natureza rígida e on-premises levou a silos de dados, coordenação complexa entre equipes e longos prazos para novos projetos, retardando assim a inovação. A empresa buscou uma solução que oferecesse agilidade, escalabilidade e acesso a dados em tempo real para telemetria de veículos, ao mesmo tempo em que integrava capacidades de análise e aprendizado de máquina. Crucialmente, a solução precisava garantir uma governança robusta para conformidade de privacidade e segurança.

Ao adotar serviços gerenciados da AWS, incluindo Amazon Athena, Amazon S3, Amazon Kinesis Data Firehose e AWS Glue, o BMW Group reduziu significativamente a complexidade de configuração. Isso permitiu que suas equipes de plataforma, ingestão e casos de uso operassem com maior autonomia e agilidade por meio de processos DevOps de ponta a ponta. Um portal web moderno foi implementado, permitindo que os usuários descobrissem conjuntos de dados confiáveis ​​por meio de um algoritmo de busca avançado e consultassem dados para novos insights. O CDH agora processa terabytes de dados de telemetria anônimos diariamente de milhões de veículos BMW e MINI conectados, permitindo o monitoramento proativo de indicadores de saúde do veículo e a resolução mais rápida de problemas.

A arquitetura separa provedores de dados e consumidores de dados, com provedores usando serviços como Amazon Kinesis Data Firehose, AWS Lambda, AWS Glue e Amazon EMR para ingestão e transformação, enquanto os consumidores utilizam serviços como Amazon Athena, Amazon SageMaker, AWS Glue e Amazon EMR para alavancar dados. Os dados são armazenados em buckets do Amazon S3, com esquemas catalogados no AWS Glue. O desenvolvimento de um catálogo de dados legível por humanos e um Portal de Dados aumenta a transparência e a produtividade para mais de 500 usuários. O GraphQL via AWS AppSync é empregado para APIs universais e escaláveis, acelerando significativamente o desenvolvimento de aplicações ao permitir que os desenvolvedores definam estruturas de carga útil de dados específicas e parâmetros de consulta.

O data lake baseado em AWS serve como a base para as soluções de TI orientadas a dados do BMW Group, permitindo escalonamento automático e independente em uma arquitetura serverless. Isso acelera a inovação em comparação com sua solução on-premises anterior, que exigia gerenciamento extensivo de infraestrutura e planejamento de capacidade. O BMW Group planeja abrir componentes-chave do CDH, incluindo suas APIs, arquitetura e Portal de Dados, alinhando-se com seu papel como membro fundador da Gaia-X. Essa movimentação estratégica impulsionará ainda mais sua transformação digital, gerando valor em todo o negócio por meio de experiências aprimoradas do cliente, novos serviços de mobilidade e insights de negócios internos.