Senior Data Product Engineer Talend / Starburst - Freelance (H/F)

CONTEXTE

Le bénéficiaire souhaite une prestation d'accompagnement dans l'objectif d'assurer une mission dans le cadre de sa transition vers une architecture Data Mesh. Nous recherchons un(e) Data Product Engineer spécialisé(e) dans le développement de pipelines sur la plateforme Talend Real Time BigData et de data products sur la plateforme Starburst.

MISSIONS

• Conception de flux de données et de Data Products
• Développement des pipelines d'intégration de données optimisés via la Talend Data Fabric / Talend Real Time BigData ou encore Spark / Astronomer
• Documentation des pipelines d'ingestion de données
• Intégration des données dans l'écosystème Data Mesh
• Collaboration avec les domaines métiers pour identifier les sources de données et les cas d'usage
• Développement des data products / data sets (vues & vues matérialisées) répondant à des cas d'usage identifiées avec les responsables de domaines métiers
• Développement des requêtes SQL optimisées pour Starburst (push-down predicates, partitionnement, formats de fichiers comme Iceberg/Parquet)
• Documentation des data products (métadonnées, ownership, qualité)
• Contribution à l'amélioration continue des data products dans la plateforme Starburst
• Mise en place des alertes et des dashboards pour le suivi des data products

OUTILS & ENVIRONNEMENT

• Apache Spark
• Talend (Talend RealTime BigData, Talend Studio)
• Starburst / Trino
• Airflow / Astronomer
• Formats de stockage: Iceberg, Parquet, S3
• Outils de gouvernance: Ranger, RBAC
• Pratiques DevOps/DataOps: CI/CD, infrastructure-as-code (Terraform, Kubernetes)
• Langages: SQL avancé, Python (Pandas, PySpark), bash

CONDITIONS DE TRAVAIL

• Lieu de la mission: Paris
• Démarrage: ASAP
• Mission de longue durée
• Télétravail: 2 jours par semaine
• Anglais professionnel obligatoire
• Séniorité requise: 8 à 10 ans d'expérience minimum

1. 8 à 10 ans d'expérience minimum
2. Expérience avancée en développement de pipelines sur Talend RealTime BigData (Talend Studio en mode batch ou route)
3. Expérience avancée en SQL sur Starburst/Trino (jointures, CTEs, fonctions analytiques)
4. Compétences en Data Modeling
5. Expérience avec Airflow/Astronomer, Spark, Talend Real Time Big Data / Talend Data intégration
6. Connaissance des formats de stockage Iceberg, Parquet, S3
7. Familiarité avec les outils de sécurité et gouvernance (Ranger, RBAC)
8. Pratiques CI/CD pour les pipelines, infrastructure-as-code (Terraform, Kubernetes)
9. Maîtrise des langages: SQL avancé (obligatoire), Python (Pandas, PySpark), bash
10. Compréhension des principes Data Mesh (domain-oriented ownership, self-serve platform, federated governance)
11. Capacité à travailler en mode produit (roadmap, priorisation, collaboration avec les métiers)
12. Sensibilité à la data quality (tests, monitoring, remédiation) et à la documentation (data contracts, métadonnées)
13. Esprit collaboratif: travail avec les équipes métiers, data scientists, et DevOps
14. Pédagogie: capacité à expliquer des concepts techniques à des non-experts
15. Autonomie: prise d'initiative dans un cadre agile