AI Jobs Map

Darwin Partners · Annecy, Auvergne-Rhône-Alpes, France

LLMOps & Observability Engineer

mid_levelfull timePosted 14 days ago
Apply on LinkedInLinkedInOpens the original posting. AI Jobs Map never asks for your details.

Stack mentioned

observabilityllmdevopstypescriptaws

🧩 Darwin Partners, un véritable partenaire de carrière 🧩

Chez Darwin Partners, nous ne nous contentons pas de recruter : nous accompagnons chaque consultant dans son évolution professionnelle en lui proposant des missions qui correspondent à ses aspirations.

Avec une culture dynamique et axée sur l’impact, nous connectons les meilleurs talents IT à des projets ambitieux, tout en cultivant des relations humaines et authentiques.

👥 Nos clients ? Des entreprises innovantes dans différents secteurs d’activité (banque, assurance, finance, industrie, e-commerce, marchés publics, trading, médical...) et des projets à forte valeur ajoutée sur différents métiers (étude & développement, fonctionnel, agilité, infrastructure, réseaux, data, cloud, intelligence artificielle...).

🤝 Notre engagement ? Un suivi régulier, une écoute active et une véritable proximité avec nos talents.

✨ Notre promesse ? Des projets enrichissants, une flexibilité réelle et une rémunération à la hauteur de votre talent. 💰

🔒 Votre mission, si vous l'acceptez

Dans le cadre de la structuration d'une plateforme IA de nouvelle génération, vous contribuerez à la mise en place des fondations LLMOps permettant d'industrialiser, d'observer et de fiabiliser les systèmes d'intelligence artificielle générative.

Vos principales responsabilités seront les suivantes :

- Concevoir et maintenir l'infrastructure d'observabilité des modèles LLM (traces distribuées, latence, coûts, métriques de qualité...).

- Évaluer les solutions du marché (Langfuse, LangSmith, Braintrust...) et recommander les outils les plus adaptés aux besoins de la plateforme.

- Développer des pipelines d'évaluation permettant aux équipes de créer, exécuter et versionner leurs suites de tests de manière continue.

- Concevoir et gérer les jeux de données d'évaluation : génération, versionnement, contrôle d'accès et gouvernance.

- Définir une stratégie de versionnement des prompts, modèles et configurations IA.

- Mettre en place des mécanismes d'alerte afin de détecter rapidement toute dérive des performances ou de la qualité en production.

- Participer à la conception d'un Model Registry et des standards de gouvernance nécessaires à la montée en charge des cas d'usage IA.

🧠 Le profil que nous recherchons 🧠

Vous disposez d'au moins 4 ans d'expérience sur des sujets liés au développement de plateformes, au Cloud ou au DevOps, avec une forte sensibilité pour les problématiques d'observabilité et de qualité logicielle.

Vous possédez notamment :

- Une solide expérience sur l'observabilité de systèmes distribués (tracing, métriques, monitoring, alerting).

- Une expérience autour des pipelines d'évaluation de systèmes IA ou LLM (tests de prompts, tests d'intégration, suivi qualité en production).

- Une bonne connaissance de l'écosystème LLMOps (Langfuse, LangSmith, Braintrust...) et la capacité à comparer et intégrer ces solutions.

- Une excellente maîtrise de TypeScript.

- Une solide expérience sur AWS pour concevoir et exploiter des plateformes Cloud.

Une expérience sur l'observabilité de modèles LLM ou de systèmes d'IA générative constitue un véritable atout.

💻 Environnement technique

LLMOps : Langfuse, LangSmith, Braintrust

Cloud : AWS

Langage : TypeScript

Observabilité : Distributed Tracing, Metrics, Alerting

IA : LLM, Prompt Versioning, Model Registry, Evaluation Pipelines

Informations pratiques

📍 Localisation : Annecy

🏠 Télétravail : 2 jours par semaine

📄 Contrat : CDI ou Freelance

🚀 Démarrage : Dès que possible

📩 Prêt(e) à nous rejoindre ?

Vous souhaitez participer à la construction des plateformes IA de demain et relever des défis techniques autour des LLMOps, de l'observabilité et de l'industrialisation de l'IA générative ?

Échangeons !

📨 Candidature simplifiée : transmettez-nous votre CV ou votre profil LinkedIn, nous nous occupons du reste.

More jobs at Darwin Partners