Senior DevOps / LLMOps Engineer

Qui sommes-nous ?

Chez Quicksort, nous aidons les organisations à déployer rapidement des solutions IA fiables, sur-mesure et à fort impact. Nous concevons des agents IA internes sécurisés et adaptés aux industries les plus exigeantes : finance, banque, conformité. Notre équipe rassemble des experts IA et machine learning issus des meilleures écoles d'ingénieurs françaises (Polytechnique, Télécom Paris, ENS, CentraleSupélec), qui combinent rigueur scientifique et méthodologie lean pour livrer des solutions directement opérationnelles en production.

Votre mission

En tant que Senior DevOps / LLMOps Engineer, vous rejoindrez une équipe Industrial AI Platform chez l'un de nos clients grand compte en charge des fondations IA mutualisées du groupe : RAG, LLM Gateway, observabilité, sécurité.

Vous interviendrez en support des équipes de développement IA pour garantir la robustesse, la fiabilité et l'observabilité de services IA critiques en production, dans un environnement cloud et conteneurisé aux exigences fortes de disponibilité et de traçabilité.

Vos responsabilités :

• Concevoir, mettre en œuvre et maintenir les chaînes CI/CD des services de la plateforme IA.
• Garantir la stabilité, la performance et la résilience des environnements (dev, recette, production).
• Définir et implémenter une stratégie d'observabilité de bout en bout (logs, métriques, traces distribuées) sur l'ensemble des services.
• Mettre en place des alertes pertinentes basées sur des SLO/SLI pour une détection proactive des incidents.
• Construire des dashboards dynamiques et des métriques custom (business + technique) sur Datadog.
• Tracker les interactions LLM avec Langfuse : prompts, réponses, latence par provider (OpenAI, Anthropic, Mistral), dérive qualité, analyse des hallucinations.
• Analyser des incidents complexes en croisant logs applicatifs, métriques et données persistées (PostgreSQL, MongoDB).
• Automatiser les déploiements et standardiser les pratiques DevOps de la plateforme IA.

Profil recherché

• 5+ ans d'expérience DevOps confirmée sur des plateformes cloud et Kubernetes en environnement de production.
• Maîtrise des pratiques CI/CD, Infrastructure as Code et automatisation.
• Solide expérience en observabilité moderne : Datadog (APM, logs, métriques, tracing distribué, alerting avancé) et idéalement Langfuse ou équivalent LLM.
• Capacité à analyser des incidents complexes en croisant logs, métriques et requêtes SQL/NoSQL.
• À l'aise avec l'interrogation de bases relationnelles et documentaires pour diagnostiquer le comportement des services.
• Compréhension des enjeux LLMOps : monitoring de la dérive, évaluation des réponses, gestion multi-provider.
• Sensibilité forte aux enjeux de sécurité, conformité et gouvernance des plateformes IA.
• Expérience appréciée du secteur bancaire ou des environnements régulés.

Stack technique :

• Cloud & conteneurs : AWS, Kubernetes, Terraform
• CI/CD : Jenkins, GitLab CI, IaC
• Observabilité : Datadog, Langfuse
• Plateforme IA : LiteLLM, Mistral, GPT, Claude
• Vector stores : FAISS, Qdrant, Milvus, ElasticSearch
• Data & messaging : Kafka, PostgreSQL, MongoDB

Some of our core values:

• Bias for action.
• Excellence.
• Leave your ego aside.