Data Engineer Sénior / Big Data / Spark / Cloudera

Contexte de la mission

Le projet HALO est un programme stratégique de digitalisation des parcours bancaires (vente en ligne, souscription, IA). La Direction Data met en place une plateforme Big Data pour alimenter les cas d’usage métiers à forte valeur ajoutée. Il s’agit d’un nouveau projet (build) avec des enjeux de performance, d’intégration IA et de montée en charge. L’environnement technique est centré sur un écosystème Hadoop/Cloudera on‑premise.

Missions principales

• Participer à la définition de l’architecture Data en lien avec les architectes et la squad
• Affiner les User Stories avec le PO/BA, concevoir et développer les pipelines de collecte et de stockage des données
• Orchestrer les flux batch et temps réel (Spark batch + Spark Streaming)
• Mettre en œuvre les tests unitaires et automatisés
• Déployer le produit dans les différents environnements (CI/CD)
• Garantir le bon fonctionnement en production : monitoring, gestion des incidents, optimisation
• Accompagner l’équipe dans une logique d’amélioration continue de la qualité du code

Environnement technique

Framework Big Data

• Hadoop Cloudera (requis)

Traitement

• Spark, PySpark, Spark Streaming (requis) – Scala (apprécié)

Messaging

• Kafka, Kafka Connect, Kafka Streams (apprécié)

Langages

• SQL (requis), Scala, Java, Shell, Python

Bases de données

• SQL : Hive, Phoenix
• NoSQL : HBase, MongoDB

DevOps / CI‑CD

• Git, Jenkins, Artifactory, XL Deploy, XL Release

Monitoring

• ELK Stack (Elasticsearch, Logstash, Kibana), Grafana

Gouvernance

• RGPD, Data Lineage, Catalogage

Profil recherché

Compétences techniques

• 7 à 10 ans d’expérience en Data Engineering / Big Data
• Maîtrise de Spark (batch et streaming) et de l’écosystème Hadoop/Cloudera
• Expérience avérée en conception d’architecture data (Lambda, Lakehouse, etc.)
• Capacité à optimiser les performances (partitionnement, tuning Spark, montée en charge)
• Expérience sur des projets build (construction from scratch, pas uniquement du run)
• Maîtrise des outils CI/CD et des pratiques DevOps

Expérience sectorielle

• Expérience en banque impérative (BFI, Risk, Conformité, Marchés de capitaux, Retail Banking)
• Compréhension des enjeux métiers bancaires : réglementation, conformité, parcours digitaux
• Idéalement : expérience dans un grand groupe bancaire français (SG, Natixis, BNP, BPCE, CA)

Savoir‑être (pondération forte)

• Posture Tech Lead : force de proposition, prise de lead, participation aux choix d’architecture
• Excellent communicant, pédagogue, capable de vulgariser les sujets techniques
• Proactif, rigoureux, autonome
• Capacité à challenger les besoins métiers et proposer des solutions adaptées
• Dynamique, orienté résultats, apte à évoluer dans un contexte de build à forts enjeux

Atouts différenciants

• Expérience en architecture Lambda (batch + streaming temps réel)
• Connaissance de Trino/Starburst, Iceberg, Lakehouse
• Expérience en mise en production de modèles IA/ML (MLOps)
• Encadrement d’équipes de Data Engineers
• Migration de clusters (Hortonworks → Cloudera, on‑prem → cloud)

Localisation

Paris / Île‑de‑France