AI Jobs Map

Datakeen · Paris, Île-de-France, France

AI Evals Engineer

entry_levelfull timePosted 17 days ago
Apply on LinkedInLinkedInOpens the original posting. AI Jobs Map never asks for your details.

Stack mentioned

vitepythonci/cddeep-learningllmgitpytorchtransformers

🧠 Rejoins le top de l'IA chez Datakeen en tant qu'AI Evals Engineer !

📍 Lieu : La Défense (ou remote hybride jusqu'à 3j/semaine)

💼 Contrat : CDI

🗣 Langues : Français & Anglais

🔍 Qui sommes-nous ?

Chez Datakeen, on propulse les entreprises vers l'excellence opérationnelle grâce à une IA éthique, utile et humaine. Nos solutions transforment l'expérience client, boostent la productivité et redonnent du sens au travail humain.

Nos produits phares :

🪪 IDify : Vérification d'identité à distance en temps réel

📄 VerifIA : Classification intelligente, extraction documentaire et détection de fraude

💬 AnswerIA : Réponse automatique aux avis clients et réclamations

💼 Ta mission, si tu l'acceptes :

Tu rejoindras une équipe tech solide où ton rôle d'AI Evals Engineer ne se limite pas à coder des pipelines. Tu seras le garant de la fiabilité de nos modèles, et la personne qui permet à l'équipe d'avancer vite et de manière éclairée :

🛠 Ingénierie backend Python : Développe et maintiens des services et pipelines Python robustes (bonnes pratiques de dev : tests, CI/CD, code review, versioning) pour industrialiser l'évaluation de nos modèles.

📏 Benchmarking & évaluation de modèles : Conçois, implémente et fais vivre des frameworks d'évaluation pour nos modèles de Deep Learning custom (vision, texte, données structurées) et nos briques LLM / agents.

🧪 Eval-driven development : Construis des jeux de données de référence, des scorers (LLM-as-judge, checks déterministes, revue humaine), et des gates de non-régression intégrés à nos pipelines de déploiement.

📊 Monitoring & observabilité : Mets en place les bons indicateurs pour détecter les dérives de performance en production, avant qu'elles n'impactent nos clients.

🤝 Collaboration transverse : Travaille main dans la main avec les équipes produit et dev pour transformer les besoins métiers en critères de qualité mesurables.

🎯 Vision & pédagogie : Présente avec impact tes résultats d'évaluation aux équipes techniques et à la direction, et contribue à la roadmap IA de la boîte.

🧬 Ton ADN

✔️ Une première expérience significative en développement Python et bonnes pratiques d'ingénierie logicielle (tests, Git, CI/CD)

✔️ Une appétence forte pour le ML/DL et une première expérience en benchmarking, évaluation ou monitoring de modèles (classiques ou LLM)

✔️ Une bonne connaissance de l'écosystème IA : PyTorch, Transformers, et idéalement des frameworks d'évaluation LLM

✔️ Formation solide (école d'ingé, MVA, etc.) et passion pour l'IA

✔️ Esprit analytique, structuré, et force de proposition

✨ Bonus : Tu as déjà contribué à une lib ou un framework d'évaluation (evals, benchmarks, observabilité IA) ? On adore ça !

🎁 Pourquoi rejoindre Datakeen ?

🌍 Impact concret : tu garantis que nos IA fonctionnent vraiment, en conditions réelles

🧠 Mentorat d'experts : collabore avec des seniors et chercheurs de l'ENS

⚙️ Tech & prod au cœur : des projets déployés en conditions réelles

📈 Croissance & montée en compétences garanties dans un environnement bienveillant

🎉 Vie d'équipe : events mensuels, ambiance start-up humaine et ambitieuse

🍽 Tickets resto, remote 3j/semaine, bureaux La Défense

🤝 Tu veux faire partie de l'aventure ?

Un CV, un petit mot (ou une vidéo 🎥 !) et on échange sur ton avenir chez Datakeen