Data Engineer - Azure

Contexte

Rejoignez une équipe agile SAFe pour concevoir et industrialiser des pipelines Data et ML robustes sur un environnement Azure moderne. Vous serez au cœur de la transformation des prototypes data scientists en solutions de production.

Vos missions

Pipelines Data & ML

• Développement de pipelines Batch sous Azure Databricks
• Utilisation avancée de PySpark, Delta Lake, MLFlow, Workflows
• Optimisation des performances : partitionnement, gestion mémoire, exploitation GPU
• Mise en place de mécanismes de reprise d'erreur, de traçabilité et de monitoring
• Collaboration avec les data scientists pour industrialiser leurs modèles

Développement logiciel

• Conception de packages Python robustes et maintenables
• Respect des standards : qualité de code, tests unitaires, CI/CD, documentation
• Développement d'APIs via Azure Functions et/ou Azure Container Apps

Contribution projet & RUN

• Participation aux phases projet : faisabilité, architecture, conception, réalisation, MEP
• Activités d'amélioration continue et participation aux rituels agiles