Data Engineer confirmé / sénior

Data Engineer confirmé / sénior

Nous recherchons un Data Engineer confirmé / sénior disposant d?une forte expertise sur Azure, Databricks, Spark et SQL.

Responsabilités

• Analyse des traitements existants dans le cadre de projets de migration
• Conception et construction de pipelines de données pour transformer, enrichir et traiter les données au sein du Data Lake
• Développement de notebooks Databricks pour des traitements avancés de données
• Mise en ?uvre de solutions de Cloud Data Warehousing (optimisation des traitements et tuning des requêtes SQL)
• Rédaction de la documentation technique (Dossiers d?Analyse Technique, release delivery notes, etc.)
• Réalisation de revues de code dans une logique de qualité et de bonnes pratiques
• Conception et exécution de tests unitaires
• Livraison des développements dans un environnement DevOps intégrant des processus CI/CD et les outils associés

Compétences techniques requises

• Expérience Data minimum 5 ans
• Azure minimum 3 ans
• Databricks minimum 5 ans
• Spark minimum 5 ans
• Python minimum 5 ans
• SQL minimum 5 ans
• Maitrise de CI/CD, Azure DevOps minimum 3 ans
• Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile minimum 1 an

Profil candidat

CONSEIL

• Organise les données avec prise en compte de la gestion du cycle de vie de la donnée
• Identifie finement les sources de données à utiliser
• S'assure de la cohérence de l'intégration des données dans les projets qu'il accompagne
• S'assure du respect des exigences traitement et de sécurité sur les données
• Applique et documente en collaboration avec l'Architecte d'Entreprise Data la gouvernance des données
• Référence et suit le bon usage de la donnée