Data Engineer - AWS Databricks PySpark Sustainability - Freelance (H/F)

Data Engineer - AWS Databricks PySpark Sustainability - Freelance (H/F)

Conditions

• Localisation à Lille (mode hybride).
• Mission longue.

Missions

• Implémenter des solutions à partir des règles fonctionnelles établies par le Product Manager / Data Owner.
• Documenter les règles de qualité décrites dans Collibra au préalable pour valider les datasets.
• Construire des pipelines de données structurées scalables à partir de templates génériques.
• Transformer la stack legacy vers la nouvelle stack recommandée par les équipes de la Data Platform.
• Répondre aux questions des utilisateurs ainsi que de l'équipe de datavisualisation sur les données mises à disposition.
• Intervenir sur l'ensemble des flux de l'équipe et documenter les flux implémentés.
• Contribuer à l'amélioration des bonnes pratiques de développement (Mob programming, Test Driven Development,...) et à la communauté de data engineers.

Profil

• Expérience sur l'environnement Big Data d'Amazon Web Services (AWS) avec maîtrise de ses composants (S3, CodeArtefact, ECR) et optimisation de leurs performances.
• Expérience dans l'implémentation de pipelines de données (DBT, PySpark).
• Expérience dans la mise en place de l'ordonnancement via Airflow.
• Connaissances sur Databricks.
• Développement en Python.
• Connaissances en modélisation de données.
• Niveau Avancé en Spark, AWS S3, Python, PySpark, Databricks.
• Niveau Confirmé en langage SQL.

Autres informations

• Taux journalier (TJM): 410