Data Engineer

Contexte

Dans le cadre de la transformation digitale d'un acteur majeur du transport ferroviaire français, nous recherchons un Data Engineer pour renforcer les équipes data et contribuer à la modernisation des infrastructures de données.

Missions principales

• Concevoir et développer des pipelines de données avec Apache NiFi
• Implémenter des solutions de traitement de données sur Databricks
• Développer des scripts Python pour l'ingestion et la transformation de données
• Déployer et maintenir des solutions sur l'écosystème Azure
• Optimiser les performances des flux de données existants
• Collaborer avec les équipes métier pour comprendre les besoins data
• Assurer la qualité et la gouvernance des données
• Documenter les processus et architectures mises en place

Critères décisifs

• Expérience concrète Apache NiFi en production
• Maîtrise Databricks avec cas d'usage réels
• Capacité à démontrer des réalisations techniques
• Autonomie sur l'écosystème Azure
• Expérience en environnement grand compte

Profil recherché

• Localisation : Saint Denis (93)
• Durée : Mission longue durée

Compétences requises :

• Apache NiFi - minimum 2 ans d'expérience
• Databricks - expérience confirmée
• Python - maîtrise avancée
• Microsoft Azure (Data Factory, Synapse, Storage)
• SQL - niveau expert
• Architectures Big Data

Compétences appréciées :

• Spark/PySpark
• Docker/Kubernetes
• Git/DevOps
• Power BI ou Tableau
• Kafka
• Expérience secteur transport

Qualités :

Data Engineer confirmé avec 4-6 ans d'expérience, autonome, rigoureux et capable de travailler en équipe pluridisciplinaire. Bonnes capacités de communication pour échanger avec les équipes métier.