Expert Spark Data Engineer H/F

Mission

La mission s’inscrit dans le cadre d’une solution de traitement de données à des fins de statistiques et de Business Intelligence. Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants :

• 350 bases de données
• 5 000 requêtes par seconde
• 1 To de données par an

L’objectif est de réaliser un audit technique et de proposer des axes d’optimisation de la plateforme existante.

Votre mission

Au sein d'une équipe projet, vous serez en charge de :

• Réaliser un audit et un état des lieux technique de l’existant
• Identifier les axes d’amélioration des traitements Spark (batch et streaming)
• Optimiser les performances pour les flux temps réel
• Définir les recommandations de dimensionnement de l’infrastructure
• Proposer des améliorations sur MongoDB (modélisation et structuration des données)
• Rédiger un document d’architecture cible et de préconisations

Votre Profil & l’Environnement technique dans lequel vous évoluerez

• Expertise avancée sur Apache Spark
• Bonne maîtrise de MongoDB
• Expérience sur OVH Cloud
• Solide connaissance de Kafka / Kafka Connect
• Expérience en déploiement de Spark sur Kubernetes
• Capacité à mener des missions d’audit, d’analyse et de recommandation

Quelques infos importantes à retenir

• Expérience de 10 ans minimum sur un poste similaire
• 2 jours de télétravail par semaine
• Date de démarrage : ASAP
• Type de contrat : CDI, Freelance, Portage salarial
• Situation géographique : Rennes (35000)

Nos avantages

• 15 jours de RTT (100% « salarié » & Rachat à 125%)
• Participation aux bénéfices
• Plan Epargne Entreprise
• Prime de vacances
• Aide à la recherche de logement
• Comité Social et Economique