Data Engineer (IT)

Le datalake est utilisé comme une data plateforme pour les équipes IT et métiers.

L'objectif de la mission est d'assurer le rôle de Data Engineer de ce datalake :

Gestion de la production

Gestion de la dette technique

Revoir l'architecture actuelle et proposer des évolutions

Développements liés aux projets

Description :

Mettre en place la collecte et la mise à disposition des données au sein de l?entreprise

Industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent

Activités et tâches :

Acheminement de la donnée

Mise à disposition de la donnée aux équipes utilisatrices

Mise en production de modèles statistiques

Suivi de projet de développement

Développement job spark

Traitement et ingestion de plusieurs formats des données

Développement des scripts

Développement et Implémentation des collectes de données, des jobs de traitement et Mapping de données

Développement des moyens de restitution via génération de fichier et ou API & Dashboarding

Collecter toutes les données et les fournir aux clients en tant qu'API ou fichiers

Développer de pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI)

Développer des API génériques d?ingestion et de traitement de données dans un environnement HDP

Participer à la conception, mise en place et administration de solutions Big Data

Participation à l?installation, administration et configuration des Hadoop clusters. Mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka

Normalisation et agrégation des données afin de produire les rapports sous forme de Business View

Profil candidat: Plus de 5 ans d'expérience comme Data Engineer

connaissance du secteur bancaire

très bonne communication

Compétences techniques :

Spark

PySpark

Scala

Hadoop sur infra on premise

Hive

SQL/HQL

Starburst

Indexima

Jenkins

Unix/Bash

Jira

Pipeline CI/CD

XLDeploy/XLRelease