Stage- Data Engineer - indicateurs de transition écologique

Projet Hub d'Indicateurs

Le projet Hub d'Indicateurs s'inscrit dans le cadre du projet de l'équipe Data&IA Ecolab : Hub d'indicateurs pour la transition écologique.

Depuis juin 2023, l'Ecolab mène un projet ambitieux visant à fournir aux administrations, centrales ou territoriales, un socle commun d'indicateurs pour les accompagner dans le pilotage de leur transition écologique et l'atteinte les objectifs nationaux. Ce projet répond à plusieurs enjeux majeurs :

• Plutôt que de créer de nouveaux outils, ce projet vise à centraliser les indicateurs existants au sein d'un hub dédié, accessible via API et intégré dans des plateformes destinées aux collectivités, telles que Territoires en Transitions.
• Ce hub repose sur plusieurs éléments clés :

L'objectif de ce projet est de mieux comprendre l'état écologique des territoires et faciliter la prise de décision stratégique et d'assurer un suivi rigoureux des actions dans le temps.

Exemples de missions

Le ou la stagiaire participera travaillera sur le pipeline de production des données, en étroite collaboration avec le Data Engineer, afin d'améliorer la qualité des données produites et d'en faciliter la gestion.

Le ou la stagiaire aura l'occasion d'intervenir sur les différentes étapes du pipeline de donnée :

• Extraction (Python) => Transformation (dbt) => API (CubeJS) => Publication (Python)

Elle / il aura également l'occasion de se familiariser avec l'infrastructure de déploiement de l'outil :

• Hebergeur et Cloud services (Scaleway) => infra-as-code (Terraform) => orchestrateur (Airflow) => mulltithreading (Kubernetes) => containers (docker)

Voici quelques exemples de missions concrètes :

1. Pipeline de donnée
2. Infrastructure Cloud (Scaleway)
3. Intégration Continue / Déploiement Continu : CI/CD via Gitlab
4. (Optionnel) Front-End
5. (Optionnel) Réponse à des besoins data d'autres services du ministère

Les missions seront adaptées en fonction des compétences et des intérêts du ou de la stagiaire, ainsi que des projets en cours. Il/elle pourra être amené(e) à travailler sur plusieurs projets en parallèle, couvrant diverses activités propres aux rôles de Data Ops et Data Analyst :

• cartographie de données
• collecte et structuration de bases de données
• développement d'indicateurs et mise en place de tableaux de bord.

Le ou la stagiaire sera accompagné(e) tout au long de son parcours et gagnera progressivement en autonomie, notamment en participant au pilotage de projets (animation de réunions, rédaction de notes de cadrage, etc.).

En plus des missions principales, le ou la stagiaire aura également l'opportunité de contribuer aux travaux de veille technologique et à la structuration de briques technologiques au sein de l'équipe, afin d'améliorer les outils et process en continu.

Adaptabilité et montée en compétences

• Suivi des contributions territoriales aux objectifs de transition écologique à l'échelle nationale ;

• Amélioration de la lisibilité et de l'accessibilité des données existantes ;

• Insuffisance d'ingénierie dans de nombreux territoires pour générer ces indicateurs de manière autonome ;

• Manque de coordination entre les différents outils et dispositifs mis en place par l'État.

• Création d'un référentiel d'indicateurs métiers, couvrant les principales thématiques de la transition écologique (énergie, logement, transport, etc.), aligné avec les actions et dispositifs territoriaux ;

• Mise en place d'un environnement technique robuste pour l'extraction, la transformation et la diffusion des indicateurs ;

• Utilisation de standards communs pour faciliter l'urbanisation des données et les rendre accessibles sur des plateformes comme ecologie.data.gouv.fr, dans une approche partagée et inter-ministérielle.

• Extraction automatique des données sources (API) via des scripts Python

• Nettoyage et transformation des données avec dbt (Data Build Tool) pour assurer leur qualité et leur pertinence.

• Mise en place de tests de qualité afin de valider tant les données sources que les indicateurs métiers.

• Publication et mise à disposition des indicateurs via l'API en utilisant CubeJS

• Optimisation de la stratégie de stockage PostreSQL (S3)

• Interfacer la BDD avec un LLM via la mise en place d'un MCP

• Maintenance des différents environnements (dev, préprod, prod)

• Orchestration des flux de données (Airflow)

• Déploiement automatique (Docker, Kubernetes)

• Optimisation du build (Docker Compose)

• Mise en place de Dashboard de monitoring (Scaleway, Grafana)

• Optimisation des performances et des coûts d'hébergement

• Analyse post-crash : forensic et remédiation (bash)

• Maintenance et évolution des différentes étapes de la CI/CD (Gitlab CI)

• Mise en place de tests unitaires

• Infrastructure as Code (Terraform)

• Dans le cadre d'un collaboration avec d'autres équipes de l'Ecolab, le ou la stagiaire pourra éventuellement contribuer au développement de features d’UX (mais ce n'est pas le coeur du projet proposé à ce stade).

• Développement de solutions numériques pour d'autres équipes du ministère (tableaux de bord, automatisation, projet data science)en vue de proposer une solution technique adaptée.

Travaux complémentaires

• Date de début : 13/08/2026