Data Engineer / Data Architect Senior H/F - Freelance

Data Engineer / Data Architect Senior H/F - Freelance

Missions

• Définir l'architecture et l'organisation du Lakehouse.
• Concevoir des solutions de collecte, de stockage et de transformation des données.
• Migrer et moderniser progressivement les traitements existants.
• Industrialiser et assurer le suivi des pipelines de données.
• Mettre à disposition des données brutes et transformées pour l'analyse et la datavisualisation.
• Concevoir l'organisation des données et des flux dans un environnement Lakehouse basé sur S3.
• Développer des pipelines de traitement avec Python, Spark et PySpark.
• Mettre en place et maintenir les traitements d'ingestion et de transformation.
• Participer à l'ordonnancement des traitements avec Dagster.
• Contribuer à l'exposition des données via Trino et les outils de datavisualisation.
• Mettre en place les tests unitaires et les contrôles de qualité des développements.
• Assurer le suivi des traitements et identifier les incidents ou blocages.
• Rédiger et maintenir la documentation technique.
• Participer à la recette avec la MOA et les utilisateurs.
• Estimer les charges et contribuer au suivi de l'avancement du projet.
• Réaliser des études en collaboration avec les équipes transverses.
• Participer à l'amélioration continue des processus de développement et d'exploitation.

Profil

• Expérience significative en Data Engineering, conception de plateformes de données et architecture Data.
• Maîtrise de Python et SQL.
• Maîtrise de Spark et PySpark appliqués aux problématiques Data.
• Compétences en conception et industrialisation de pipelines de données.
• Connaissance des architectures Data Lake ou Lakehouse.
• Connaissance des solutions de stockage objet, idéalement Amazon S3.
• Connaissance des environnements Oracle et des outils Informatica.
• Maîtrise des pratiques de développement logiciel: Git, intégration continue, tests unitaires et documentation.
• Expérience en suivi de production et supervision des traitements.

Atouts

• Expérience en datavisualisation et mise à disposition de données analytiques.
• Connaissance du Machine Learning appliqué à la donnée (scikit-learn, feature engineering).
• Connaissance des outils LLM ou GenAI pour l'accès ou la valorisation de la donnée.

Autres informations

• Taux journalier (TJM): 550
• Python
• Apache Spark / PySpark
• SQL
• Amazon S3
• Dagster
• Trino
• Git
• Jenkins
• Informatica
• DAC
• Oracle 19
• Jira
• Confluence
• Windows 10 avec WSL