Lead Data Engineer Dataiku & Python (IT)

Prestations demandées

RESPONSABILITES

- Conception et implémentation des pipelines de données :

• Concevoir et développer des pipelines de données automatisés pour collecter, charger et transformer les données provenant de différentes sources (internes et externes) dans le Data Hub puis pour les transformer en Data Product Data Hub, Data Science ou Data Viz (Power BI). • Optimiser les pipelines de données pour garantir des performances élevées, une faible latence, et une intégrité des données et des traitements tout au long du processus. • Travailler avec les équipes data science et métiers pour comprendre leurs besoins en données et en traitements, et adapter les pipelines en conséquence.

- Industrialisation et automatisation des flux de données et des traitements :

• Mettre en place des processus d?industrialisation des modèles de machine learning et des flux de données, en garantissant la scalabilité et la fiabilité des pipelines en production. • Automatiser la gestion et le traitement des données à grande échelle, en veillant à réduire les interventions manuelles tout en assurant une supervision proactive des performances et des anomalies. • Collaborer étroitement avec les data scientists et MLOps pour assurer une transition des projets de l?exploration à la production, en intégrant les modèles dans des pipelines automatisés.

- Gestion des données et optimisation des performances :

• Optimiser les performances des requêtes et des pipelines de traitement des données, en utilisant les meilleures pratiques en matière de gestion des ressources et d?architecture de stockage (raw, refined, trusted layers). • Assurer une surveillance continue de la qualité des données et mettre en place des contrôles de validation pour maintenir l?intégrité des jeux de données.

- Sécurité et gouvernance des données :

• Mettre en ?uvre des solutions de sécurisation des données (gestion des accès, cryptage, audits) pour garantir la conformité avec les réglementations internes et externes. • Travailler en collaboration avec le Data Office pour assurer l?alignement avec les politiques et processus définis. • Maintenir la documentation technique des pipelines et des flux de données, en assurant la traçabilité et la gestion des métadonnées.

COMPETENCES

• Expérience confirmée en ingénierie des données : Solide expérience dans la conception, la mise en ?uvre et l?optimisation de pipelines de données. • Maîtrise des technologies de traitement de données : Expertise dans l?utilisation d?outils et technologies tels que ELT, Spark, SQL, Python, Dataiku, et la gestion de data warehouses et data hubs. • Compétence en sécurité et gouvernance des données : Connaissance des enjeux de sécurité, de conformité réglementaire (GDPR), et de gouvernance des données, avec une capacité à implémenter des solutions adéquates. • Compétences en automatisation et industrialisation : Capacité à automatiser et industrialiser les flux de données et les traitements afférents, en assurant la transition fluide des projets data science vers la production. • Maîtrise de l?anglais : La maîtrise de l?anglais est indispensable pour interagir avec des parties prenantes