Lago de Datos AWS del Grupo BMW

Antes de la migración, el lago de datos existente del Grupo BMW luchaba por satisfacer las crecientes demandas de los ingenieros y analistas de datos. Su naturaleza rígida y local generaba silos de datos, coordinación compleja entre equipos y largos plazos para nuevos proyectos, lo que ralentizaba la innovación. La empresa buscaba una solución que ofreciera agilidad, escalabilidad y acceso a datos en tiempo real para la telemetría de vehículos, al tiempo que integraba capacidades de análisis y aprendizaje automático. Crucialmente, la solución necesitaba garantizar una gobernanza robusta para el cumplimiento de la privacidad y la seguridad.

Al adoptar servicios gestionados de AWS, incluyendo Amazon Athena, Amazon S3, Amazon Kinesis Data Firehose y AWS Glue, el Grupo BMW redujo significativamente la complejidad de la configuración. Esto permitió a sus equipos de plataforma, ingesta y casos de uso operar con mayor autonomía y agilidad a través de procesos DevOps de extremo a extremo. Se implementó un portal web moderno, que permite a los usuarios descubrir conjuntos de datos confiables a través de un algoritmo de búsqueda avanzado y consultar datos para obtener nuevas perspectivas. El CDH ahora procesa terabytes de datos de telemetría anónimos a diario de millones de vehículos BMW y MINI conectados, lo que permite el monitoreo proactivo de los indicadores de salud del vehículo y una resolución de problemas más rápida.

La arquitectura separa a los proveedores y consumidores de datos, con proveedores que utilizan servicios como Amazon Kinesis Data Firehose, AWS Lambda, AWS Glue y Amazon EMR para la ingesta y transformación, mientras que los consumidores utilizan servicios como Amazon Athena, Amazon SageMaker, AWS Glue y Amazon EMR para aprovechar los datos. Los datos se almacenan en buckets de Amazon S3, con esquemas catalogados en AWS Glue. El desarrollo de un catálogo de datos legible por humanos y un Portal de Datos mejora la transparencia y la productividad para más de 500 usuarios. Se emplea GraphQL a través de AWS AppSync para APIs universales y escalables, acelerando significativamente el desarrollo de aplicaciones al permitir a los desarrolladores definir estructuras de carga útil de datos y parámetros de consulta específicos.

El lago de datos basado en AWS sirve como base para las soluciones de TI del Grupo BMW impulsadas por datos, permitiendo un escalado automático e independiente en una arquitectura sin servidor. Esto acelera la innovación en comparación con su solución local anterior, que requería una gestión extensiva de la infraestructura y planificación de capacidad. El Grupo BMW planea hacer de código abierto componentes clave del CDH, incluyendo sus APIs, arquitectura y Portal de Datos, alineándose con su papel como miembro fundador de Gaia-X. Este movimiento estratégico impulsará aún más su transformación digital, generando valor en todo el negocio a través de experiencias de cliente mejoradas, nuevos servicios de movilidad y perspectivas de negocio internas.