Missions principales :
- Conception & Développement : bâtir des pipelines ETL/Data robustes et développer/maintenir les API d'exposition des données.
- Architecture Databricks : optimiser les traitements et participer aux choix d'architecture selon l'approche Medallion (Bronze/Silver/Gold).
- Qualité & Performance : garantir la fiabilité et l'optimisation des performances des traitements, et gérer la résolution d'incidents de production.
- Leadership Technique : accompagner l'équipe sur les bonnes pratiques de dev et le déploiement de solutions.
Profil candidat:
- Expérience : 5 à 8 ans minimum en Data Engineering, avec un niveau d'expertise reconnu sur Databricks.
- Posture : capacité avérée à intervenir comme référent technique / Tech Lead.
- Méthodologie : pratique des environnements Agile SAFe.
- Core : Python, SQL, PySpark, Spark
- Plateforme Data : Databricks, Delta Lake, Unity Catalog
- Cloud & DevOps : AWS (S3, Lambda, ECS, Secrets Manager), CI/CD, Git
- Exposition : développement d'API REST (FastAPI)
- Ingénierie : modélisation de données et tuning de performances
Un plus :
- Expérience probante en tant que Tech Lead.
- Maîtrise du streaming temps réel (Spark Streaming, Kafka...).
- Sensibilité aux sujets de Data Quality et de gouvernance de la donnée.