Data Platform Engineer

About the Datalake Team

Organisée autour des outils de stockage et de catalogage, l'équipe Datalake est chargée de mettre à disposition le stockage (S3) pour l'ensemble de la data platform et de garantir robustesse et scalabilité. L'équipe Datalake assure la gouvernance technique du patrimoine de donnée et la gestion des métadonnées au travers des data contract. Nous hébergeons et maintenons le repository central de ces derniers. Nous permettons grâce à cela de construire une observabilité de plateforme au travers de l’usage, du lineage etc.

Nous avons le besoin de sensibiliser les utilisateurs aux bonnes pratiques que l'équipe met en place sur une modern data stack. Ceci afin d'accompagner au mieux le développement des use cases métiers sur la plateforme.

Une appétence data et avoir déjà manipulé des outils tels que databricks est un réel plus.

Your Mission

Ta mission sera de

• Garantir la robustesse du data contract registry (Aurora + Python fastAPI)
• Monitorer et prendre des actions proactives de management
• Assurer le support et l'accompagnement tournant sur les outils de l'équipe (S3, Glue, Unity Catalog, data contract registry)
• Restituer dans le datalake les metadonnées de nos produits

Accompany and Train

• Définir et promouvoir les bonnes pratiques proposées au sein de l'équipe
• Participer et conseiller lors de la conception des pipelines de données des équipes

Develop the Future

• Gouvernance automatisée (Data contract registry, access management, metadata management)
• Etroite collaboration avec les staff engineer de la plateforme pour le développement de nouvelle features (ADR)

Candidate Profile

Data Platform Engineer capable de construire des outils de gouvernance (data contracts, metadata) en Python, tout en accompagnant les équipes data sur une modern data stack AWS / Databricks.