Ingénieur(e) LLMOps / MLOps / Observabilité
Nous recherchons l'ingénieur(e) clé qui prendra en main l'infrastructure d'observabilité, d'évaluation et de contrôle des coûts de nos applications IA.
Le challenge :
Garantir la fiabilité, la qualité et la maîtrise des coûts de tous les cas d'usage LLM en production sur l'ensemble de l'organisation.
Ce que vous ferez au quotidien :
- Infrastructures d'observabilité : Déployer et gérer le tracing distribué, le suivi de la latence, des coûts et de la qualité des LLM (évaluation du stack actuel avec Langfuse vs alternatives comme Langsmith).
- Pipelines d'évaluation : Concevoir les outils permettant d'exécuter et de versionner des suites de tests en continu (offline & online evals).
- Versioning & Data : Structurer le versioning des prompts, des modèles et la gestion des datasets de test.
- Alerting & Qualité : Mettre en place la détection automatique des dégradations de qualité en production et la gestion du registre de modèles.
Le profil idéal :
- Expertise Observabilité & LLMOps : Expérience concrète sur du tracing distribué, métriques, alerting (idéalement appliqués aux LLM) et le déploiement d'outils d'observabilité dans de grandes entreprises.
- Cloud & Tools : À l'aise avec les déploiements sur AWS et la manipulation d'outils du paysage LLMOps (Langfuse, Langsmith, Braintrust...).