Data ingénieur / Software ingénieur orienté Data

Mission

Un profil Data ingénieur / Software ingénieur orienté Data avec une expérience significative sur Azure Databricks, python (software engineering) et PySpark.

La connaissance des concepts de Machine Learning, notamment des algorithmes de type bagging et boosting, constitue un atout apprécié.

En tant que Data/Software ingénieur, le prestataire interviendra au sein d'une équipe agile SAFe et contribuera, au travers de user stories, aux activités suivantes :

Activités

• Conception et développement des pipelines Data et ML industrialisées et robustes
  • Pipelines Batch sous Azure Databricks
  • Utilisation avancée de PySpark, Delta Lake, MLFlow, , Workflows
  • Optimisation des performances : partitionnement, gestion mémoire, exploitation GPU
  • Mise en place de mécanismes de reprise d'erreur, de traçabilité et de monitoring
  • Collaboration étroite avec les data scientists pour transformer les prototypes en solutions industrielles
• Développement logiciel et services
  • Conception et développement de packages python
  • Respect des standards de développement du socle (qualité du code, tests unitaires, CI/CD, documentation, …)
  • API sous Azure Function et/ou Azure Container Apps
• Contribution aux phases projets (étude de faisabilité, architecture, conception, réalisation, MEP) et aux différents activités de RUN et d'amélioration continue
• Participation active aux rituels agiles

Modalités

3j/semaine sur site

Compétences techniques requises

• Azure Databricks
• PySpark
• Delta Lake
• Python