Data engineer GCP Monétique - Freelance (H/F)

CONTEXTE

Récupérer les données issues de sources externes

• Utiliser la puissance du Datalake
• Produire et mettre à disposition automatiquement des agrégats journaliers, hebdomadaires et mensuels

Mise en œuvre de la chaîne:

*

d'ingestion de données

*

de validation de données

*

de croisement de données

*

de déversement dans le datalake des données enrichies

• Développer dans le respect des règles d'architecture définies
• Développer et documenter les user stories avec l'assistance du Product Owner et des chefs de projets
• Produire les scripts de déploiement
• Prioriser les corrections des anomalies
• Assister les équipes d'exploitation
• Participer à la mise en œuvre de la chaîne de delivery continue
• Automatiser les tests fonctionnels

Aspects humains:

• Grande capacité à travailler dans une équipe, en mode Scrum / Kanban
• Bonnes compétences relationnelles et grand sens de la communication (capacité à entrer dans le détail)
• Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées

MISSIONS

*

Récupérer et ingérer des données issues de sources externes

*

Valider et croiser les données

*

Déverser les données enrichies dans le datalake

*

Développer et documenter les user stories

*

Produire les scripts de déploiement

*

Prioriser et corriger les anomalies

*

Assister les équipes d'exploitation

*

Participer à la mise en œuvre de la chaîne de delivery continue

*

Automatiser les tests fonctionnels

1. Plus de 9 ans d'expérience
2. Maîtrise de la plateforme et environnement GCP (indispensable)
3. Connaissance de l'environnement GKE
4. Compétences en stockage: HDFS / GCS
5. Maîtrise de l'écosystème Spark / Kafka / Scala
6. Expérience en planification avec Airflow / Composer
7. Pratique des méthodologies Scrum, Kanban, Git
8. Connaissances en DWH: SQL, BigQuery, BigTable
9. Compétences en delivery: Git, Ansible, Docker, Terraform, Jenkins / Cloud Build
10. Grande capacité à travailler en équipe, en mode Scrum / Kanban
11. Bonnes compétences relationnelles et grand sens de la communication
12. Sensible et informé des évolutions technologiques sur les piles logicielles pratiquées