Alternance - Data Engineer - Indicateurs de Transition Écologique - Cloned H/F

Projet Hub d'Indicateurs

L'apprentissage se déroulera au sein de l'équipe de l'Ecolab, dans le cadre du projet de Hub d'indicateurs pour la transition écologique.

Depuis juin 2023, l'Ecolab mène un projet ambitieux visant à fournir aux administrations, centrales ou territoriales, un socle commun d'indicateurs pour les accompagner dans le pilotage de leur transition écologique et l'atteinte les objectifs nationaux. Ce projet répond à plusieurs enjeux majeurs :

• Plutôt que de créer de nouveaux outils, ce projet vise à centraliser les indicateurs existants au sein d'un hub dédié, accessible via API et intégré dans des plateformes destinées aux collectivités, telles que Territoires en Transitions.

Ce hub repose sur plusieurs éléments clés :

L'objectif de ce projet est de mieux comprendre l'état écologique des territoires et de faciliter la prise de décision stratégique et d'assurer un suivi rigoureux des actions dans le temps.

Missions

L'alternant.e participera travaillera sur le pipeline de production des données, en étroite collaboration avec le Data Engineer, afin d'améliorer la qualité des données produites et d'en faciliter la gestion.

L'alternant.e aura l'occasion d'intervenir sur les différentes étapes du pipeline de donnée :

• Extraction (Python) => Transformation (dbt) => API (CubeJS) => Publication (Python)

Elle / il aura également l'occasion de se familiariser avec l'infrastructure de déploiement de l'outil :

• Hebergeur et Cloud services (Scaleway) => infra-as-code (Terraform) => orchestrateur (Airflow) => mulltithreading (Kubernetes) => containers (docker)

Voici quelques exemples de missions concrètes :

1. Pipeline de donnée
2. Infrastructure Cloud (Scaleway)
3. Intégration Continue / Déploiement Continu : CI/CD via Gitlab
4. (Optionnel) Front-End
5. (Optionnel) Réponse à des besoins data d'autres services du ministère

Les missions seront adaptées en fonction des compétences et des intérêts du/de l'alternant.e, ainsi que des projets en cours. Il/elle pourra être amené(e) à travailler sur plusieurs projets en parallèle, couvrant diverses activités propres aux rôles de Data Ops et Data Analyst :

• cartographie de données
• collecte et structuration de bases de données
• développement d'indicateurs et mise en place de tableaux de bord.

L'alternant.e sera accompagné(e) tout au long de son parcours et gagnera progressivement en autonomie, notamment en participant au pilotage de projets (animation de réunions, rédaction de notes de cadrage, etc.).

En plus des missions principales, l'alternant.e aura également l'opportunité de contribuer aux travaux de veille technologique et à la structuration de briques technologiques au sein de l'équipe, afin d'améliorer les outils et process en continu.

Contexte du projet

• aux objectifs de transition écologique à l'échelle nationale ;
• Suivi des contributions territoriales
• Amélioration de la lisibilité et de l'accessibilité des données existantes ;
• Insuffisance d'ingénierie dans de nombreux territoires pour générer ces indicateurs de manière autonome ;
• Manque de coordination entre les différents outils et dispositifs mis en place par l'État.

Objectifs du projet

• Création d'un référentiel d'indicateurs métiers, couvrant les principales thématiques de la transition écologique (énergie, logement, transport, etc.), aligné avec les actions et dispositifs territoriaux ;
• Mise en place d'un environnement technique robuste pour l'extraction, la transformation et la diffusion des indicateurs ;
• Utilisation de standards communs pour faciliter l'urbanisation des données et les rendre accessibles sur des plateformes comme ecologie.data.gouv.fr, dans une approche partagée et inter-ministérielle.

Environnement technique

• Extraction automatique des données sources (API) via des scripts Python
• Nettoyage et transformation des données avec dbt (Data Build Tool) pour assurer leur qualité et leur pertinence.
• Mise en place de tests de qualité afin de valider tant les données sources que les indicateurs métiers.
• Publication et mise à disposition des indicateurs via l'API en utilisant CubeJS
• Optimisation de la stratégie de stockage (PostreSQL, S3)
• Interfacer la BDD avec un LLM via la mise en place d'un MCP

Infrastructure Cloud (Scaleway)

• Maintenance des différents environnements (dev, préprod, prod)
• Orchestration des flux de données (Airflow)
• Déploiement automatique (Docker Compose, Kubernetes)
• Optimisation du build (Docker)
• Mise en place de Dashboard de monitoring (Grafana)
• Optimisation des performances et des coûts d'hébergement
• Analyse post-crash : forensic et remédiation (bash)

Intégration Continue / Déploiement Continu : CI/CD via Gitlab

• Maintenance et évolution des différentes étapes de la CI/CD (Gitlab CI)
• Mise en place de tests unitaires
• Infrastructure as Code (Terraform)

(Optionnel) Front-End

• Dans le cadre d'un collaboration avec d'autres équipes de l'Ecolab, l'alternant.e pourra éventuellement contribuer au développement de features d'UX (mais ce n'est pas le coeur du projet proposé à ce stade).

(Optionnel) Réponse à des besoins data d'autres services du ministère

• Développement de solutions numériques pour d'autres équipes du ministère (tableaux de bord, automatisation, projet data science)
• en vue de proposer une solution technique adaptée, avec possibilité de devenir Product Owner de la solution associée et d'en faire la gestion de projet (plutôt la deuxième année d'alternance le cas échéant)
• Analyse des besoins métiers