Data engineer F/H (IT) / Freelance

Description

Notre client dans le secteur de l'énergie recherche un Data Engineer F/H





Au sein de notre squad Data Platform, vous interviendrez avec d'autres Data engineer et DevOps dans les activités ci-dessous :

Expérience dans la création et l'interaction avec des solutions de Data Lake (Gen 2 et S3)


Expérience significative sur l'environnement des données en Cloud (AWS), en particulier sur les services de données : ADLS Gen 2, AWS S3, VPC Azure est un plus.


Concevoir et maintenir le processus de déploiement automatisé à l'aide de Terraform pour l'ensemble de la plateforme.


Développement de microservice en python


Expérience sur Databricks , MongDB


Monitoring et exploitation de la data Platform


Familiarité avec les mécanismes d'alimentation ETL


Bonne connaissance de la méthodologie Agile


Collaboration avec les parties prenantes, y compris les data officers, data architect, et data engineers







- Prendre part à la réalisation du workplan, réaliser les user stories définies dans le backlog.

- Participer, avec les autres membres de l'équipe à la gestion du RUN, aux activités de support et aux travaux de Build.

- Livraison des artefacts et suivi des mises en prod

- Automatiser et améliorer les activités de RUN (et SRE), suggérer des optimisations (process, ou consommation Finops par exemple)

- Maintenir les documentations des produits

- ?User Centric? : sera à l'écoute de ses utilisateurs et recherchera leur feedback pour construire et améliorer la solution (UX)

- Force de proposition sur les meilleures pratiques "shift left" pour les contrôles sur le code sur la sécurité, qualité, résilience, FinOps 

- Force de proposition sur les bonnes pratiques d'observabilité, de monitoring et le SRE (stack actuelle: Azure App Insights, Grafana)

Compétences / Qualités indispensables:

Microsoft Azure,Azure Data Factory,.Net,GitHub,Data Engineering, Connaissances dans le mise en place d'un DataLake

Compétences / Qualités qui seraient un +: Terraform Docker MongoDB Databricks



Profil candidat:
Compétences / Qualités indispensables:

Microsoft Azure,Azure Data Factory,.Net,GitHub,Data Engineering, Connaissances dans le mise en place d'un DataLake

Compétences / Qualités qui seraient un +: Terraform Docker MongoDB Databricks