Data Engineer - Pipelines & Lakehouse H/F

Les missions du poste

Kaizen Solutions ?

Kaizen Solutions est une société de conseil (ESN) spécialisée dans les systèmes d'information complexes. Nous accompagnons nos clients, de la start-up aux grands groupes industriels, dans la conception et le développement de solutions logicielles sur mesure, sur l'ensemble de la chaîne technique, du capteur jusqu'au cloud.

Notre promesse employeur est simple : Travailler chez Kaizen, c'est le meilleur moyen de progresser rapidement. Nos équipes sont composées de profils passionnés, qui ont envie d'apprendre, de partager et de transmettre, dans un environnement où l'expertise technique et la montée en compétences sont réellement valorisées.

Oubliez tout ce que vous connaissez ou pensez connaître sur les ESN, et découvrez qui nous sommes (on est vraiment différents, et on a hâte de vous expliquer de vive voix pourquoi) !

Kaizen Solutions intervient pour le compte d'un acteur majeur du secteur de l'énergie afin de renforcer une équipe Data en pleine montée en charge. Le projet porte sur la convergence et l'évolution de pipelines de données critiques, dans une architecture Data Lakehouse moderne.

L'enjeu : fiabiliser, optimiser et faire évoluer une plateforme de traitement de données distribuée, au service de plusieurs équipes métier et applicatives.

MISSIONS

Développement des pipelines de données Conception et développement d'applications distribuées (Scala/Spark et PySpark) pour l'alimentation et la transformation des données. Respect des principes de l'architecture Data Lakehouse.

Évolution de la plateforme Participation active au développement applicatif et à la convergence des flux de données existants. Contribution à l'amélioration continue des pipelines en place.

Opérabilité & support Mise en place des outils de monitoring et de supervision. Garantie de la disponibilité et de la performance de la plateforme. Support technique des équipes utilisatrices pour un usage optimal.

Collaboration transverse Travail en interaction avec plusieurs équipes techniques et métier. Capacité à formuler des recommandations et à faire des propositions d'amélioration.

Le profil recherché Compétences techniquesSolide expérience en intégration et traitement de données (structurées et non structurées)Maîtrise de Scala et/ou PySpark - Scala fortement privilégiéBonne maîtrise de SQLExpérience sur Spark, Delta Lake, DatabricksPratique d'un environnement cloud : Microsoft Azure ou AWSCulture des bonnes pratiques de l'ingénierie logicielle et du cycle de vie data (versioning, tests, documentation)Familiarité avec les contraintes du développement distribué : scalabilité, optimisation, gestion des volumesExpérience & savoir-êtreAutonomie et capacité à prendre des initiativesBon esprit d'analyse et de synthèseForce de proposition, à l'aise pour challenger les solutions en placeBonne communication et sens du service, travail en mode équipeÀ l'aise dans un environnement multi-équipes et multi-interlocuteurs Bienvenue chez Kaizen Solutions Kaizen Solutions ?Kaizen Solutions est une société de conseil (ESN) spécialisée dans les systèmes d'information complexes.Nous accompagnons nos clients, de la start-up aux grands groupes industriels, dans la conception et le développement de solutions logicielles sur mesure, sur l'ensemble de la chaîne technique, du capteur jusqu'au cloud. Notre promesse employeur est simple :Travailler chez Kaizen, c'est le meilleur moyen de progresser rapidement.Nos équipes sont composées de profils passionnés, qui ont envie d'apprendre, de partager et de transmettre, dans un environnement où l'expertise technique et la montée en compétences sont réellement valorisées.Oubliez tout ce que vous connaissez ou pensez connaître sur les ESN, et découvrez qui nous sommes (on est vraiment différents, et on a hâte de vous expliquer de vive voix pourquoi) !