Nous recherchons un Senior Python Data Engineer pour rejoindre une équipe technique en charge de la modernisation d'une plateforme de données. Vous participerez à la migration de traitements ETL historiques vers une architecture moderne basée sur Python, Parquet et Spark, tout en exploitant les technologies d'intelligence artificielle afin d'industrialiser et d'optimiser les processus de migration.
Vous évoluerez dans un environnement innovant où l'IA assiste les équipes dans l'analyse, la génération de code, la validation et l'automatisation des développements. Vous travaillerez en collaboration avec des Data Engineers, Architectes et experts techniques afin de garantir des solutions fiables, performantes et évolutives.
Vos responsabilités
- Concevoir, développer et maintenir des solutions de transformation de données en Python.
- Participer à la migration de traitements ETL vers une architecture moderne.
- Vérifier, améliorer et optimiser le code Python généré par des outils d'intelligence artificielle.
- Garantir la qualité, les performances et la maintenabilité des développements.
- Mettre en œuvre des contrôles de qualité des données et gérer les schémas de données.
- Développer des traitements utilisant Pandas, Polars, PyArrow, Parquet et PySpark lorsque nécessaire.
- Contribuer à l'amélioration des workflows d'IA et des systèmes multi-agents dédiés à la migration.
- Participer à la mise en place de mécanismes de validation, de tests et de supervision des processus automatisés.
- Collaborer avec les équipes techniques afin d'améliorer les performances, la fiabilité et l'automatisation de la plateforme.
- Accompagner les cas de migration complexes nécessitant une expertise technique approfondie.
Profil recherché
Nous recherchons un professionnel disposant de :
- Au moins 5 ans d'expérience en développement Python orienté Data Engineering.
- Une excellente maîtrise de Python, Pandas, Polars, PyArrow, Parquet et des frameworks de tests.
- Une solide expérience des processus ETL / ELT, de la qualité des données et de la gestion des schémas.
- Une expérience avec PySpark constitue un réel atout.
- Une expérience des outils de développement assistés par IA (GitHub Copilot ou équivalent).
- Des connaissances des systèmes multi-agents, de l'orchestration de workflows et des processus de validation assistés par l'IA.
- Une connaissance de SAS ou la capacité à comprendre des programmes SAS existants est appréciée.
- Une bonne capacité d'analyse, de résolution de problèmes et de collaboration.
- Une bonne maîtrise du français, du néerlandais et de l'anglais.
Pourquoi nous rejoindre ?
- Participez à un projet innovant mêlant Data Engineering et Intelligence Artificielle.
- Contribuez à la modernisation d'une plateforme de données à grande échelle.
- Travaillez avec des technologies modernes telles que Python, Spark, Parquet et les outils d'IA générative.
- Rejoignez une équipe d'experts dans un environnement collaboratif et stimulant.
- Développez vos compétences sur des projets techniques à forte valeur ajoutée.