Ingénieur DevOps Cloud Azure - Expert Databricks - Freelance (H/F)

Ingénieur DevOps Cloud Azure - Expert Databricks - Freelance (H/F)

Missions

• Concevoir et développer des pipelines de données et des traitements distribués en Python/PySpark.
• Développer et maintenir les notebooks et workflows Databricks.
• Concevoir des architectures Lakehouse reposant sur Delta Lake.
• Optimiser les performances des jobs, la gestion des clusters et les coûts.
• Mettre en place le monitoring, l'observabilité et les contrôles de qualité des données.
• Concevoir et orchestrer des traitements massifs et distribués via Azure Batch.
• Configurer les pools de calcul et les stratégies d'exécution.
• Industrialiser les traitements à forte volumétrie ou nécessitant des ressources CPU/GPU importantes.
• Optimiser la parallélisation et la répartition des charges.
• Assurer la supervision et la gestion des incidents.
• Développer des composants techniques et des bibliothèques réutilisables et maintenables.
• Réaliser les tests unitaires, d'intégration et de performance.
• Participer aux revues de code et à l'amélioration continue.
• Mettre en œuvre les pipelines CI/CD avec Azure DevOps.
• Automatiser les déploiements des infrastructures et des applications avec Terraform/Bicep.
• Gérer les environnements de développement, de recette et de production.
• Garantir la scalabilité, la résilience et la sécurité des plateformes.
• Accompagner les équipes dans l'adoption des standards Cloud et DevOps.

Profil

• Expertise sur Microsoft Azure.
• Expertise sur Azure Databricks.
• Expertise sur Azure Batch.
• Maîtrise d'Azure Data Lake Storage Gen2.
• Maîtrise d'Azure Key Vault.
• Maîtrise d'Azure Monitor / Log Analytics.
• Python avancé, PySpark et SQL avancé.
• Maîtrise des API REST et de la programmation orientée objet.
• Maîtrise d'Azure DevOps, Git et des pipelines YAML.
• Maîtrise de Terraform et Bicep.
• Maîtrise de Docker.
• Connaissance de l'architecture Lakehouse et Delta Lake.
• Capacité d'optimisation des traitements distribués et gestion de données volumineuses.
• Connaissance de la Data Quality et de la Data Governance.
• Minimum 5 ans d'expérience sur des projets Data Engineering ou Cloud Azure.
• Minimum 3 ans d'expérience significative sur Azure Databricks.
• Expérience démontrée sur Azure Batch dans des contextes de calcul distribué.
• Forte maîtrise du développement Python et des pratiques DevOps / CI/CD.
• Capacité à intervenir sur l'architecture, le développement, l'industrialisation et l'exploitation des plateformes.
• Bonne compréhension des enjeux de performance, de sécurité et de maîtrise des coûts Cloud.

Atouts

• Connaissance d'Azure Event Hubs.
• Connaissance d'Azure Data Factory.
• Connaissance de Kubernetes / AKS.
• Expérience dans des environnements critiques et fortement automatisés.