Data Engineer GCP

Construction de Pipelines Data

• Développer des pipelines batch robustes avec Apache Beam / Dataflow pour traiter des volumes de données massifs (TB+).
• Concevoir des pipelines de streaming temps réel avec Pub/Sub et Dataflow Streaming pour l’ingéstion événementielle.
• Gérer l’ingéstion multi-sources complexe : APIs REST/GraphQL, bases relationnelles (CDC), fichiers plats, données semi-structurées (JSON, Avro, Parquet).
• Orchestrer les workflows de données avec Cloud Composer (Airflow) : dépendances, retry policies, alerting et SLA monitoring.
• Implémenter les stratégies de gestion d’erreurs : dead letter queues, idempotence et exactly-once processing.

Architecture & Modélisation

• Designer le Data Warehouse BigQuery avec une architecture en couches (raw, staging, curated, serving) selon les bonnes pratiques.
• Appliquer la modélisation dimensionnelle (étoile/flocon) et les techniques de Slowly Changing Dimensions (SCD Type 1/2/3).
• Optimiser les performances BigQuery : Partitioning (time/range), Clustering, materialized views et BI Engine.
• Concevoir le Data Lake sur Cloud Storage avec une convention de nommage et un cycle de vie adapté (Nearline, Coldline, Archive).

Qualité & Gouvernance

• Mettre en place la Data Quality avec dbt tests, Great Expectations et contrôles de cohérence inter-tables.
• Implémenter le catalogage des données avec Dataplex : discovery, classification automatique et tagging métier.
• Assurer la traçabilité complète des données (lineage) avec Data Catalog et les metadata BigQuery.
• Définir et appliquer les politiques de Data Masking et de contrôle d’accès au niveau colonne (column-level security).

Industrialisation & DevOps Data

• Industrialiser les déploiements avec CI/CD pour la Data : tests unitaires dbt, validation de schémas et promotion d’environnements.
• Provisionner l’infrastructure Data via Terraform : datasets BigQuery, topics Pub/Sub, buckets et DAGs Composer.
• Documenter les pipelines, les modèles de données et les runbooks opérationnels pour assurer la maintenabilité.

Formation

Titulaire d’un diplôme Bac+5 en Informatique ou Data Science.

Expérience

Fort(e) d’une expérience de 2 à 4 ans en Data Engineering avec un focus sur BigQuery.

Vos compétences

Techniques (“Hard skills”)

• Expert SQL avec requêtes complexes et optimisation.
• Bonne maîtrise Python pour scripting et transformations.
• Expérience BigQuery, Dataflow, Pub/Sub, Cloud Storage.
• Connaissance Airflow, dbt, Terraform.

Comportementales (“Soft skills”)

• Rigueur et sens de la qualité des données.
• Autonomie et capacité à travailler en équipe.
• Curiosité pour les services managés GCP.

J-18808-Ljbffr