Senior Data Engineer Databricks / PySpark – Freelance (H/F)

Description du poste

CONTEXTE

Pour accompagner un grand groupe international dans la modernisation de sa plateforme Data, nous recherchons un Senior Data Engineer hands-on. Vous intégrerez une équipe produit composée d’un Product Manager, de Data Engineers et d’un Data Quality Manager. L’objectif est de garantir l’accessibilité, la fiabilité et la qualité de données à fort enjeu métier.

MISSIONS

*

Concevoir, développer et maintenir des pipelines robustes et performants

*

Moderniser une stack legacy vers les nouveaux standards de la Data Platform

*

Développer et optimiser les traitements en SQL et Python/PySpark

*

Industrialiser, documenter et tester les modèles avec dbt

*

Concevoir et monitorer des DAGs complexes avec Airflow ou Astro

*

Assurer un RUN de qualité selon le principe « You build it, you run it »

*

Contribuer aux choix techniques, à la qualité du code et aux pratiques CI/CD

*

Garantir la qualité, la fiabilité et la gouvernance des données

*

Collaborer avec les équipes produit, métier, Infra et OPS dans un environnement Agile

OUTILS & ENVIRONNEMENT

*

Databricks

*

SQL avancé et optimisation des traitements

*

Python et PySpark

*

dbt

*

Airflow ou Astro

*

Git et les pratiques CI/CD

*

RUN, monitoring et résolution d’incidents en production

*

Connaissance d’AWS et de Scala (un plus)

CONDITIONS DE TRAVAIL

*

Démarrage souhaité : ASAP

*

Durée : Mission longue

1. Vous justifiez d’une expérience significative en Data Engineering
2. Maîtrise de Databricks
3. Maîtrise de SQL avancé et optimisation des traitements
4. Maîtrise de Python et PySpark
5. Maîtrise de dbt
6. Maîtrise de Airflow ou Astro
7. Maîtrise de Git et des pratiques CI/CD
8. Expérience en RUN, monitoring et résolution d’incidents en production
9. Une connaissance d’AWS et de Scala constitue un plus
10. Être autonome, proactif et engagé, avec une forte appétence métier
11. Savoir proposer des solutions simples et efficaces, documenter les développements et communiquer avec des interlocuteurs techniques et fonctionnels
12. Un anglais professionnel, notamment à l’écrit, est demandé