Data manager (H/F)

Description du poste:

Le présent appel d'offre a pour objet la sélection d'un Data Engineer Senior afin d'accompagner le pôle Data Services de notre client secteur transport public dans la conception, l'industrialisation et l'évolution de ses solutions data.Concevoir, développer et optimiser des pipelines de données à grande échelleMettre en œuvre des flux batch, streaming et ingestion via API***Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold)Développer et industrialiser les pipelines via DBT, Spark et IcebergContribuer à l'évolution de l'architecture Lakehouse

LivrablesDéployer et maintenir les pipelines dans un environnement cloud ( AWS ou équivalent)Orchestrer les workflows ETL/ELT via AirflowMettre en œuvre l'Infrastructure as Code ( Terraform Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes)Garantir la disponibilité, la supervision et l'observabilité des traitementsParticiper à la gestion des incidents et à l'amélioration continueDéfinir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés)Documenter les architectures, pipelines et règles métierGarantir la conformité des flux, notamment dans le cadre RGPD

Description du profil 8 années minimum d'expérience en Data EngineeringUne maîtrise avancée des architectures Big Data et LakehouseExpertise réelle sur Spark, DBT, Iceberg, AWS et TerraformMaîtrise des services AWS (Glue, EMR, S3 Connaissance de Trino/Starburst, DatadogForte capacité d'analyse, rigueur, autonomie et culture de l'amélioration continue