Data Engineer Senior (H/F)

Contexte

Dans le cadre du développement d'une plateforme data orientée IoT industriel, notre client recherche un Data Engineer Senior pour concevoir et faire évoluer des pipelines de données à forte volumétrie, en environnement cloud AWS. Vous interviendrez sur des architectures modernes combinant temps réel, batch et analytics avancé, avec une forte exigence en performance, scalabilité et qualité des données.

Missions

Data Engineering & pipelines

• Concevoir et maintenir des pipelines de données end‑to‑end (batch et temps réel)
• Gérer l’ingestion, la transformation et la mise à disposition des données IoT
• Développer des traitements distribués avec Spark / Flink
• Optimiser les performances et la scalabilité des flux de données

Architecture & stockage

• Concevoir des architectures data scalables (Lakehouse, time‑series, données opérationnelles)
• Mettre en place des solutions de stockage adaptées aux usages analytiques
• Participer à la gouvernance et à la structuration des données

API & services data

• Développer des API robustes en Python (FastAPI)
• Exposer les données et services pour les besoins métiers et analytiques

Streaming & orchestration

• Implémenter des architectures temps réel avec AWS Kinesis
• Orchestrer les workflows batch avec Airflow

Qualité & observabilité

• Garantir la qualité, la fiabilité et la traçabilité des données
• Mettre en place des outils de monitoring et d’observabilité (Grafana, etc.)

DevOps & industrialisation

• Déployer et maintenir les infrastructures via Terraform / Terragrunt
• Mettre en œuvre les bonnes pratiques CI/CD (GitLab)
• Adopter une approche build‑run‑own des services data

Collaboration

• Travailler en étroite collaboration avec les équipes Data, Produit et Backend
• Traduire les besoins métiers en solutions data industrialisées
• Participer à un environnement Agile orienté amélioration continue

Environnement technique

Cloud & infrastructure

• AWS : S3, Lambda, Kinesis, ECS, Fargate, CloudWatch
• Architectures serverless et temps réel

Data Platform

• Databricks
• Delta Lake / Lakehouse

Streaming & traitement distribué

• Apache Spark
• Apache Flink

Données

• SQL (bases relationnelles)
• Données temporelles (time‑series)

IoT

• MQTT
• AWS IoT / SiteWise
• Modélisation d’actifs

Monitoring

• Grafana
• InfluxDB

Développement

• Python (FastAPI)
• Scala

DevOps

• Terraform / Terragrunt
• GitLab CI/CD

Orchestration

• Airflow

Compétences requises

Profil recherché

• Minimum 6 ans d’expérience en Data Engineering
• Expertise confirmée sur AWS et architectures data modernes
• Solide expérience en Spark / traitement distribué
• Maîtrise des pipelines temps réel et batch
• Expérience sur des environnements IoT ou industriels appréciée
• Forte sensibilité aux problématiques de qualité et observabilité des données

Soft skills

• Esprit analytique et orienté solution
• Autonomie et rigueur
• Capacité à travailler dans des environnements complexes
• Bon relationnel et esprit d’équipe