ALSL - Data Engineer Senior : Couche d'ingestion · Plateforme Data GCP (IT) / Freelance

Nous recherchons un Data Engineer Senior : Couche d'ingestion · Plateforme Data GCP

Vous garantissez la porte d'entrée des données : tout ce qui alimente la plateforme passe par les pipelines que vous construisez.

LE CONTEXTE

La donnée arrive de partout, dans tous les formats, à un volume qui grossit vite. Vous rejoignez l'équipe Bronze, au c?ur de la plateforme Data : la couche qui collecte, centralise et fiabilise les sources avant qu'elles ne soient exploitées par les autres équipes Data. Un rôle d'ingénierie d'ingestion pure (batch et streaming), avec une vraie exigence de robustesse, de scalabilité et de gouvernance.

L'ÉQUIPE :

Une équipe resserrée et complémentaire : Lead, PO et 3 Data Engineers (vous inclus).

CE QUE VOUS FEREZ CONCRÈTEMENT

Construire et fiabiliser les pipelines d'ingestion de sources hétérogènes (batch + streaming), pensés pour absorber un volume en forte croissance

Structurer le stockage de la donnée brute (Cloud Storage / Delta Lake) de façon durable et requêtable

Industrialiser l'infrastructure en IaC (Terraform / Terragrunt) et les workflows CI/CD (GitLab)

Embarquer la gouvernance dès l'ingestion : conformité, sécurité, catalogage (Dataplex)

Accompagner les équipes Data dans l'exploitation et le requêtage des données ? vulgariser, transmettre, documenter

Partager et faire progresser les pratiques avec les autres Data Engineers (revues, standards, veille techno active)

LA STACK

Python · Spark / PySpark · SQL pour les traitements · Airflow pour l'orchestration · Cloud Storage + Delta Lake pour le stockage · GCP : BigQuery · Dataproc · Pub/Sub · Cloud Storage · Dataplex · Terraform + Terragrunt pour l'infra · GitLab CI/CD · Agile (Scrum / Kanban)

Profil candidat:

LE PROFIL RECHERCHÉ

Indispensable :

5+ ans en Data Engineering, sur des pipelines en production (autonomie de la conception au run)

Solide en Python et SQL, à l'aise sur les structures de données et l'architecture

Expérience réelle de Spark / PySpark et de la construction de pipelines d'ingestion de sources variées

Pratique d'un environnement Google Cloud (GCP) : a minima BigQuery + un compute Spark

Airflow, Terraform, GitLab CI/CD en conditions réelles

Agile (Scrum ou Kanban)

Vraie capacité à vulgariser et communiquer sur des sujets techniques pointus

Les plus dans un contexte pro :

Dataplex Universal Catalog (gouvernance / catalogage)

Delta Lake sur GCP / Dataproc

Terragrunt au-delà de Terraform

Expérience d'une architecture medallion (Bronze / Silver / Gold)

Ingestion streaming Pub/Sub ? Dataflow / Spark Streaming

Sécurité & conformité data (RGPD, data masking, IAM GCP)