Travailler en collaboration avec les PO, BA, développeurs et architectes sur l'ensemble du cycle de vie des solutions Data dans une équipe Agile.
Participer à la définition et à l'évolution de l'architecture Data.
Analyser et affiner les besoins avec les PO et BA pour les traduire en solutions techniques.
Concevoir et développer des pipelines de collecte, ingestion, transformation et stockage.
Développer des traitements Spark en batch et en streaming.
Automatiser l'ingestion et orchestrer les flux de données.
Intervenir dans des environnements Hadoop / Cloudera.
Concevoir et exécuter les tests unitaires et automatisés.
Industrialiser et déployer les développements sur les différents environnements.
Assurer le bon fonctionnement des solutions en production et participer à la gestion des incidents.
Mettre en place et optimiser le monitoring et l'observabilité.
Contribuer à l'amélioration continue de la qualité du code et des pratiques de développement.
Participer aux sujets de gouvernance, qualité, protection et traçabilité des données.
Profil
4 à 7 ans d'expérience en Data Engineering avec participation à la conception et à la mise en production de solutions Data dans un environnement Big Data industrialisé.
Maîtrise d'Apache Spark en batch et streaming.
Maîtrise de SQL et manipulation de volumes importants de données.
Capacité de conception de pipelines Data et flux d'ingestion.
Connaissance des bases de données SQL: Hive, Teradata ou Phoenix.
Connaissance des environnements NoSQL: HBase, MongoDB ou équivalent.
Maîtrise de l'industrialisation et CI/CD: Git, Jenkins, Artifactory, XL Release.
Maîtrise du monitoring et de l'observabilité: ELK Stack, Grafana.
The amount is automatically converted to EUR using the current exchange rate. After successful payment, an invoice will be issued according to the billing details listed below in your user profile.