Data Engineer / Software Engineer

Data Engineering / Pipelines Data & ML

• Conception et développement de pipelines batch sur Azure Databricks
• Traitement et transformation de données avec PySpark
• Mise en place de workflows Data industrialisés
• Utilisation de Delta Lake pour la gestion des données
• Intégration de modèles ML en collaboration avec les Data Scientists

Industrialisation & performance

• Optimisation des performances Spark :
  • partitionnement
  • gestion mémoire
  • optimisation des jobs
• Mise en place de mécanismes de :
  • reprise sur erreur
  • traçabilité des traitements
  • monitoring des pipelines

Software Engineering / Développement

• Développement de packages Python industrialisés
• Conception d’API (Azure Functions / Container Apps)
• Respect des standards de développement :
  • tests unitaires
  • qualité du code
  • documentation
  • CI/CD

Contribution projet & Agile

• Participation aux phases projet :
  • étude de faisabilité
  • conception
  • développement
  • mise en production (MEP)
• Participation aux activités RUN et amélioration continue
• Contribution active aux cérémonies Agile SAFe

Profil candidat:

• Data Engineer / Software Engineer confirmé
• Expérience significative en Python (software engineering)
• Maîtrise avancée de PySpark
• Expérience obligatoire sur Azure Databricks
• Bonne compréhension des architectures Data Lake / Delta Lake
• Connaissances en Machine Learning (bagging, boosting) appréciées
• Expérience dans un environnement Agile SAFe