Data Engineer - Freelance (H/F)

Data Engineer - Freelance (H/F)

Conditions

• Localisation: Lille.
• Taux journalier (TJM): 540€/jour
• TJM: 540€

Missions

• Garantir l'accessibilité, la fiabilité et la qualité des données de pricing pour les différentes équipes.
• Concevoir des pipelines pour générer de la valeur et accélérer l'innovation sur l'écosystème.
• Jouer un rôle pivot dans l'intégration de nouveaux outils et l'évolution des systèmes.
• Concevoir, construire et maintenir des infrastructures et des pipelines robustes et performantes.
• Garantir une architecture et une modélisation des flux optimisées et évolutives.
• Garantir la qualité du code et promouvoir les meilleures pratiques.
• Assurer la clarté et la pérennité des développements par une documentation rigoureuse.
• Apporter une expertise technique pour aider l'équipe à prendre les meilleurs choix.
• Transformer la stack legacy vers les nouveaux standards.
• Garantir un RUN de qualité (SLA).
• Assurer la qualité, la fiabilité et la gouvernance des données de pricing.
• Collaborer en environnement Agile (Scrum).
• Respecter les engagements de sprint et s'inscrire dans une démarche d'amélioration continue.
• Garantir la qualité de la donnée mise à disposition des consommateurs.
• Garantir une modélisation au service du "Easy to Use" et de la performance d'utilisation.
• Assurer une collaboration efficace avec les équipes techniques (Infra, OPS).

Profil

• Personne engagée, dynamique et proactive avec une forte appétence Business.
• Expérience significative sur DataBricks pour la gestion des clusters et l'optimisation des performances Big Data.
• Maîtrise avancée et pratique de SQL pour la modélisation et l'optimisation des traitements.
• Expérience significative avec DBT (Data Build Tool) pour l'industrialisation, la documentation et le testing des modèles.
• Maîtrise avancée et pratique de Python/PySpark pour la transformation et le traitement de données.
• Expérience significative avec Astro / Airflow pour la création, le monitoring et l'optimisation des DAGs complexes.
• Pratique quotidienne de la revue de code et des principes de CI/CD via Git/GitLab/GitHub.
• Bonne connaissance de l'anglais, notamment à l'écrit, pour interagir avec les partenaires non francophones.

Atouts

• Connaissance de AWS (un plus).
• Expérience sur Spark Scala (un plus).