Data Engineer Senior - Freelance (H/F)

Data Engineer Senior - Freelance (H/F)

Missions

• Participer à la conception de l'architecture Data cible et à l'organisation d'un Lakehouse.
• Concevoir et développer des pipelines de collecte et de transformation de données.
• Développer les traitements en Python, Spark / PySpark et SQL.
• Mettre en place les mécanismes de stockage et d'exposition des données.
• Participer à l'intégration de données provenant de différentes sources.
• Concevoir des jeux de données structurés à destination des équipes métier et marketing.
• Participer à la mise à disposition de données pour les outils de reporting et de DataViz.
• Mettre en place l'ordonnancement et le suivi des traitements.
• Développer des tests unitaires afin de sécuriser les traitements.
• Mettre en place les contrôles nécessaires au suivi de la qualité et de la bonne exécution des pipelines.
• Participer à la maintenance corrective et évolutive des solutions développées.
• Documenter les développements, flux et architectures mis en place.
• Accompagner les équipes MOA et utilisateurs lors des phases de recette.
• Estimer les charges et assurer le suivi de l'avancement des développements.
• Collaborer avec les équipes transverses sur les problématiques d'architecture et d'intégration.
• Contribuer à l'amélioration continue des pratiques de développement et d'industrialisation.
• Utilisation de Machine Learning appliqué aux données.
• Feature engineering et préparation des données.
• Utilisation de bibliothèques telles que scikit-learn.
• Contribution à l'intégration de solutions LLM / GenAI facilitant l'accès, l'exploration ou l'interrogation des données.

Profil

• Expertise en Data Engineering.
• Maîtrise de Python.
• Maîtrise de Spark / PySpark.
• Maîtrise de SQL.
• Expérience en ETL / ELT.
• Connaissance de Data Lake / Lakehouse.
• Compétences en industrialisation.
• Utilisation de Git.
• Utilisation de Jenkins.
• Mise en place de CI/CD.
• Utilisation de Jira.
• Utilisation de Confluence.

Atouts

• Une expérience sur AWS S3, Dagster ou Trino sera particulièrement appréciée.
• La connaissance d'Informatica constitue également un atout important dans le cadre de la modernisation d'environnements Data existants.
• Une première expérience ou une forte appétence pour les sujets Machine Learning et GenAI / LLM appliqués à la donnée.

Autres informations

• Taux journalier (TJM): 700