Data Engineer Python (IT)

Missions

• Développer et maintenir des produits data avec des contrats clairement définis.
• Concevoir et maintenir des pipelines de données batch et event-based.
• Construire des pipelines Polars hautement performants.
• Supporter et optimiser des workflows à grande échelle sur Databricks.
• Mettre en place des processus robustes d'ingestion, de transformation et de validation des données, en visant performance, scalabilité et résilience.
• Garantir une haute qualité de données grâce à des validations et des tests automatisés.
• Gérer les composants de stockage et data lake de Azure Cloud conformément aux standards internes.
• Contribuer à l'automatisation CI/CD GitLab et assurer une haute qualité du code Python produit.

Compétences

• Forte expertise en Python (clean architecture, performance, tests).
• Expérience dans la création de data pipelines en Python.
• Expérience avec des bibliothèques de traitement de données : Polars, Pandas, Databricks, DBT, etc.
• Maîtrise d'outils d'orchestration de workflows : Prefect, Airflow, Dagster.
• Solide compréhension du data modeling et du design de schémas.
• Connaissance des bonnes pratiques d'ingénierie logicielle : CI/CD, code review, tests automatisés.

Soft skills

• Excellentes compétences en résolution de problèmes, autonomie, envie d'apprendre.
• Forte attention portée à la qualité et à la fiabilité des données.
• Aisance dans des environnements d'ingénierie collaboratifs.
• Capacité à documenter et communiquer clairement des concepts techniques.

Les compétences techniques priment sur le nombre d'années d'expérience.

2J TT/semaine

Compétences techniques requises

• Python
• Azure Databricks
• CICD
• Pandas
• GitLab

Profil candidat

Missions

• Développer et maintenir des produits data avec des contrats clairement définis.
• Concevoir et maintenir des pipelines de données batch et event-based.
• Construire des pipelines Polars hautement performants.
• Supporter et optimiser des workflows à grande échelle sur Databricks.
• Mettre en place des processus robustes d'ingestion, de transformation et de validation des données, en visant performance, scalabilité et résilience.
• Garantir une haute qualité de données grâce à des validations et des tests automatisés.
• Gérer les composants de stockage et data lake de Azure Cloud conformément aux standards internes.
• Contribuer à l'automatisation CI/CD GitLab et assurer une haute qualité du code Python produit.

Compétences

• Forte expertise en Python (clean architecture, performance, tests).
• Expérience dans la création de data pipelines en Python.
• Expérience avec des bibliothèques de traitement de données : Polars, Pandas, Databricks, DBT, etc.
• Maîtrise d'outils d'orchestration de workflows : Prefect, Airflow, Dagster.
• Solide compréhension du data modeling et du design de schémas.
• Connaissance des bonnes pratiques d'ingénierie logicielle : CI/CD, code review, tests automatisés.

Soft skills

• Excellentes compétences en résolution de problèmes, autonomie, envie d'apprendre.
• Forte attention portée à la qualité et à la fiabilité des données.
• Aisance dans des environnements d'ingénierie collaboratifs.
• Capacité à documenter et communiquer clairement des concepts techniques.

Les compétences techniques priment sur le nombre d'années d'expérience.

2J TT/semaine

Compétences techniques requises

• Python
• Azure Databricks
• CICD
• Pandas
• GitLab