Data Ingénieur - Databricks (F/H)

About

Les équipes Atos à Montpellier recherchent un Data Ingénieur - Databricks (F/H) pour intervenir sur un projet client phare au sein de nos locaux.

Responsibilities

Les Data Engineers interviendront sur la conception et l’industrialisation des flux de données dans un environnement Databricks.

Leurs responsabilités incluent :

• Développer des pipelines de données en PySpark (batch et potentiellement streaming).
• Implémenter des transformations complexes sur des données volumineuses
• Gérer l’ingestion multi-sources (fichiers, API, bases externes).
• Gérer les reprises sur incident et la résilience des pipelines
• Implémenter des contrôles qualité (complétude, cohérence, fraîcheur).
• Documenter les flux et structurer les bonnes pratiques
• Participer à l’amélioration continue des pratiques data.

Skills

• Expertise avancée Databricks (clusters, jobs, notebooks, Delta Lake).
• Très bonne maîtrise de Python et PySpark.
• Solide expérience en Data Engineering (ETL/ELT, pipelines distribués).
• Maîtrise des architectures Lakehouse et Data Lake.
• Expérience en optimisation de performances Spark.
• Connaissance des outils d’orchestration (Airflow, Data Factory, Workflows).
• Bonne compréhension des enjeux de gouvernance et qualité des données.
• Expérience en exposition de données pour Power BI