Data Engineer Databricks Confirmé - CDI (H/F)

Data Engineer Databricks Confirmé - CDI (H/F)

Conditions

• Salaire: 50-58k€

Missions

• Concevoir, développer et optimiser des pipelines de données robustes et scalables.
• Garantir la qualité, la disponibilité et la performance des données pour les équipes métiers, BI et Data Science.
• Collaborer au sein d'équipes agiles et pluridisciplinaires avec les pôles Data, IT et métiers.
• Prioriser les tâches, gérer les contraintes et respecter les engagements.
• Communiquer clairement avec des interlocuteurs techniques et non techniques.
• Appliquer les bonnes pratiques de développement logiciel pour assurer la maintenabilité et la testabilité des pipelines.
• Concevoir des pipelines Data comme des produits logiciels (maintenabilité, évolutivité, observabilité).
• Mettre en place des stratégies de tests automatisés (tests unitaires, contrôles de qualité).
• Utiliser la plateforme Databricks dans un contexte de Data Engineering.
• Utiliser Apache Spark via PySpark et Spark SQL pour le développement de pipelines.
• Travailler avec Delta Lake (Delta log, ACID, schema evolution, time travel).
• Utiliser le framework Spark Declarative Pipelines.
• Utiliser les outils de tests automatisés tels que pytest, DQX et SDP Expectations.
• Gérer les versions avec Git et les workflows collaboratifs.
• Programmer en Python en respectant les bonnes pratiques de software engineering.

Profil

• Expérience de 3 à 6 ans (ou 3 à 8+ ans) en ingénierie Data.
• Fort esprit analytique et grande rigueur.
• Autonomie, proactivité et sens des responsabilités.
• Esprit de synthèse et orientation résultats et valeur métier.
• Bonne connaissance des environnements Business Intelligence, Big Data et des architectures Lakehouse.
• Expérience sur des plateformes Data modernes (Cloud).
• Maîtrise de SQL et notions de modélisation de données (architecture médaillon, modèle en étoile).
• Bagage en software engineering pour écrire un code robuste, lisible et maintenable en Python.
• Sensibilisation aux principes de qualité logicielle (tests unitaires, tests d'intégration, revue de code).

Atouts

• Certifications recommandées: Databricks Certified Data Engineer Associate (ou équivalent).