Data Engineer Python / Scala / Cloud (IT)

Contexte

Dans le cadre du développement d’une Data Marketplace interne pour un grand groupe international du secteur de l’énergie, nous recherchons un Data Engineer expérimenté afin de renforcer une équipe produit data.

La plateforme permet de centraliser l’ensemble du parcours data des utilisateurs : découverte de données, data quality, data governance, transformation de données, monitoring de pipelines et BI. Elle sera progressivement déployée auprès de plusieurs milliers d’utilisateurs dans un environnement international.

Le consultant interviendra sur la conception et l’évolution des pipelines de données ainsi que sur l’optimisation de la qualité et de la performance des flux.

Missions

• Développement et maintenance de pipelines de données en Python et Scala
• Conception et évolution d’une architecture data scalable et modulaire
• Gestion et optimisation des flux de données
• Mise en place de processus de data quality et validation des données
• Optimisation des performances des ingestions de données
• Participation aux rituels agiles et aux revues de code
• Documentation des choix techniques et de l’architecture

Environnement technique

• Python
• Scala / Spark
• Cloud : AWS et Azure
• AWS : Lambda, Glue, Redshift, Step Functions, DynamoDB
• Streaming : Kafka, Kinesis, EventHub, EventGrid
• API REST
• Git
• CI/CD
• Big Data Architecture
• Connaissance de Langchain ou Langgraph appréciée.

Profil candidat

Profil recherché

• Minimum 8 ans d’expérience en développement data
• Expérience solide en :
  • Python
  • Scala / Spark
  • architectures data cloud
  • data pipelines et data quality
• Capacité à travailler dans un environnement international.
• Anglais professionnel requis.