La mission s'inscrit dans les évolutions du datalake CIO Office, en lien avec les équipes de production applicative et DevOps. Le consultant intervient sur le développement et le traitement des données ainsi que sur l'évolution de la plateforme Hadoop. L'enjeu principal est de mettre en ?uvre de nouvelles ingestions et transformations tout en maintenant les pipelines de données.
Missions :
- Mettre en ?uvre de nouvelles ingestions de données
- Réaliser les opérations de data prep et de transformation des données
- Maintenir les outils de gestion des pipelines de données
- Faire évoluer les pipelines de données avec PySpark et le shell scripting
- Adresser les demandes d'évolution de la plateforme à l'équipe DevOps
- Rédiger des spécifications techniques claires et précises
- Travailler dans un environnement agile Scrum
- Collaborer avec les équipes de production applicative et DevOps
- Explorer de nouvelles solutions et technologies
- Analyser et résoudre des problèmes complexes liés au traitement des données
Profil attendu :
Le profil recherché dispose de 0 à 6 ans d'expérience et d'une excellente maîtrise de Hadoop, Python/PySpark et Hive. Une bonne connaissance de SQL, Git, Jenkins, Jira et du shell scripting sous Unix/Linux est nécessaire. La maîtrise de l'anglais à l'écrit comme à l'oral ainsi qu'une expérience des environnements agiles Scrum sont attendues.