AISB-666 Data Engineer

Aperçu

Nous recherchons un Data Engineer expérimenté et autonome pour jouer un rôle central dans la stratégie de gestion des données de projets majeurs de transformation numérique. Vous piloterez l'analyse, la migration, l'assurance qualité et la refactorisation des données, tout en veillant à leur conformité avec les normes et les meilleures pratiques de l'organisation. Ce poste implique une collaboration étroite avec les analystes fonctionnels, les équipes de développement et un centre de compétences dédié aux données.

Principales responsabilités

1. Analyse et collecte des données

• Collaborer avec les analystes fonctionnels et les experts métiers pour comprendre les structures de données existantes et les relations entre les entités.
• Effectuer des évaluations de la qualité des données afin de détecter les anomalies, les doublons et les incohérences.
• Cartographiez les flux de données existants et identifiez les dépendances critiques.

2. Stratégie et planification des migrations

• Examiner et valider la stratégie de migration proposée par le prestataire de refactoring.
• Évaluer la faisabilité technique, les risques et les impacts potentiels.
• Proposer des améliorations et des optimisations à l'approche de migration.
• Documenter les décisions clés et la justification technique sous-jacente.

3. Sélection et nettoyage des données

• Identifier et qualifier les données à migrer en fonction des besoins de l'entreprise et des règles de conformité.
• Concevoir et mettre en œuvre des processus de nettoyage et de transformation des données.
• Validez les données transformées avant la migration et documentez les règles et exceptions de transformation.

4. Assistance technique aux activités de refactorisation

• Apporter un soutien aux équipes de développement durant toutes les phases de refactorisation.
• Valider les implémentations du schéma de base de données dans l'environnement cible.
• Participer aux revues techniques et aux décisions architecturales relatives aux données.
• Veillez à ce que les activités de migration respectent toutes les normes de sécurité et de confidentialité requises.

5. Validation et tests des données

• Aider les équipes d'assurance qualité à exécuter les tests de qualité des données (tests de fumée, tests de cohérence, etc.).
• Définir les critères d'acceptation de la qualité des données migrées.
• Assistance au dépannage et à la résolution des problèmes identifiés.

6. Collaboration avec le Centre de compétences en données

• Participer à des échanges réguliers avec le Centre de compétences en données de l'organisation.
• Appliquer les normes, méthodologies et meilleures pratiques existantes.
• Partager les enseignements tirés et soutenir le transfert de connaissances aux équipes internes.

Compétences techniques requises

• Solide expertise des systèmes de bases de données relationnelles, notamment :
  • IBM DB2 (v11.5+)
  • MySQL ou PostgreSQL
• Solide compréhension des schémas de migration et des stratégies de restauration.
• Solides connaissances en modélisation de données relationnelles.
• Capacité à optimiser les schémas pour les performances (dénormalisation, indexation, partitionnement).
• Maîtrise des outils ETL tels qu'Apache NiFi, Talend, Informatica ou équivalents.
• Expérience en matière de scripts de transformation : SQL, Python, Groovy .
• Connaissance des pratiques de nettoyage et de validation des données.
• Familiarité avec l'écosystème Java (Maven, Gradle) et les outils comme Git / GitLab .
• Expérience de l'utilisation d'outils de gestion de projet tels que Jira et Confluence .
• Une expérience préalable dans le secteur public (administration, justice, santé…) est un atout majeur.
• Avoir mené à bien au moins 2 à 3 projets de migration de données .
• Compréhension des exigences de conformité et réglementaires (RGPD, sécurité, audit).

compétences générales

• Capacité à travailler de manière autonome et à prendre des initiatives.
• Excellentes compétences en communication, capable d'expliquer des sujets complexes à des interlocuteurs non techniques.
• Expérience de collaboration avec des équipes internationales et externes (nearshore/offshore).
• Un haut degré de rigueur, le souci du détail et le respect des normes.
• Capacité d'adaptation dans des environnements complexes et évolutifs.
• Une solide culture de gestion des risques, notamment en ce qui concerne l'intégrité des données.

Résumé des compétences

• IBM DB2 (v11.5+) – Confirmé
• MySQL / PostgreSQL – Confirmé
• Outils ETL (NiFi, Talend, Informatica) – Confirmé
• Modélisation des données – Confirmé
• Java + Maven/Gradle + Git/GitLab – Confirmé
• Transformation de données (SQL, Python, Groovy) – Confirmé
• Jira / Confluence – Confirmé
• Langues : Français (langue maternelle), Anglais (niveau professionnel actif)