Dans le cadre de la mise en place d'un nouvel environnement Data sur la plateforme Databricks pour un grand acteur du secteur de l'énergie, nous recherchons un Développeur Databricks confirmé pour intervenir sur la construction et l'optimisation d'une plateforme de traitement de données à grande échelle.
Vos missions
Participer à la mise en place et à la structuration d'un nouvel environnement Databricks.
Concevoir et optimiser les flux de données entrants.
Travailler sur la gestion et l'ingestion de volumes importants de données (environ 1,5 To par jour).
Apporter une expertise technique et des recommandations sur les meilleures pratiques d'intégration et d'acheminement des données vers la plateforme.
Participer à la performance et à l'optimisation des traitements côté Databricks.
Collaborer avec les équipes data et architecture dans un environnement en construction.
Environnement technique
Databricks
Gestion des flux de données entrants
Optimisation de performances sur gros volumes de données
3 An(s), Analyser, exploiter, structurer des données, S, Databricks, S, Power Bi, S