Data Engineer Senior : Couche d'ingestion · Plateforme Data GCP

Data Engineer Senior : Couche d'ingestion · Plateforme Data GCP

Vous garantissez la porte d'entrée des données : tout ce qui alimente la plateforme passe par les pipelines que vous construisez.

LE CONTEXTE

La donnée arrive de partout, dans tous les formats, à un volume qui grossit vite. Vous rejoignez l'équipe Bronze, au cœur de la plateforme Data : la couche qui collecte, centralise et fiabilise les sources avant qu'elles ne soient exploitées par les autres équipes Data. Un rôle d'ingénierie d'ingestion pure (batch et streaming), avec une vraie exigence de robustesse, de scalabilité et de gouvernance.

L'ÉQUIPE :

Une équipe resserrée et complémentaire : Lead, PO et 3 Data Engineers (vous inclus).

CE QUE VOUS FEREZ CONCRÈTEMENT

• Construire et fiabiliser les pipelines d'ingestion de sources hétérogènes (batch + streaming), pensés pour absorber un volume en forte croissance
• Structurer le stockage de la donnée brute (Cloud Storage / Delta Lake) de façon durable et requêtable
• Industrialiser l'infrastructure en IaC (Terraform / Terragrunt) et les workflows CI/CD (GitLab)
• Embarquer la gouvernance dès l'ingestion : conformité, sécurité, catalogage (Dataplex)
• Accompagner les équipes Data dans l'exploitation et le requêtage des données ? vulgariser, transmettre, documenter
• Partager et faire progresser les pratiques avec les autres Data Engineers (revues, standards, veille techno active)

LA STACK

Python · Spark / PySpark · SQL pour les traitements · Airflow pour l'orchestration · Cloud Storage + Delta Lake pour le stockage · GCP : BigQuery · Dataproc · Pub/Sub · Cloud Storage · Dataplex · Terraform + Terragrunt pour l'infra · GitLab CI/CD · Agile (Scrum / Kanban)

LE PROFIL RECHERCHÉ

Indispensable :

• 5+ ans en Data Engineering, sur des pipelines en production (autonomie de la conception au run)
• Solide en Python et SQL, à l'aise sur les structures de données et l'architecture
• Expérience réelle de Spark / PySpark et de la construction de pipelines d'ingestion de sources variées
• Pratique d'un environnement Google Cloud (GCP) : a minima BigQuery + un compute Spark
• Airflow, Terraform, GitLab CI/CD en conditions réelles
• Agile (Scrum ou Kanban)
• Vraie capacité à vulgariser et communiquer sur des sujets techniques pointus

Les plus dans un contexte pro :

• Dataplex Universal Catalog (gouvernance / catalogage)
• Delta Lake sur GCP / Dataproc
• Terragrunt au-delà de Terraform
• Expérience d'une architecture medallion (Bronze / Silver / Gold)
• Ingestion streaming Pub/Sub ? Dataflow / Spark Streaming
• Sécurité & conformité data (RGPD, data masking, IAM GCP)