Data engineer

Le Data Engineer conçoit, développe et met en place des architectures data. Il organise les flux de données, de leur lieu de production à leur lieu de stockage : il est, en quelque sorte, le super plombier des données.

  • Salaire de départ (mensuel)3 k €
  • Offres d'emploi6291

Les missions

Garant de la chaîne des données (de sa production à son extraction en passant par son stockage), il crée et développe l’infrastructure qui permettra aux analystes et aux utilisateurs d’accéder aux données de l’entreprise. 

Il installe en quelque sorte la tuyauterie dans laquelle les données vont pouvoir circuler correctement. Le Data Engineer développe, construit et teste l’architecture qui va permettre de gérer les données de l’entreprise. Il doit être capable de connecter entre eux des systèmes hétérogènes, ce qui implique de maîtriser les langages de base de données, les technologies de requêtage et de stockage de données, ainsi qu’un ou plusieurs langages informatiques. Une fois que l’architecture est mise en place, le rôle du Data Engineer va être d’en assurer la maintenance. Confronté à certaines données suspectes, erronées ou mal formatées, il se charge de corriger les bugs et d’apporter des solutions adaptées. Il veille ainsi à la qualité des données et peut également créer des outils et des algorithmes afin de faciliter l’accès des utilisateurs aux données. Il peut, par exemple, créer des modèles statistiques ou des tableaux de bord pour l’équipe de vente indiquant le nombre de transactions effectuées chaque jour et le prévisionnel pour le mois à venir. Il assure une veille technologique sur les outils du big data ; tout au long de sa carrière, il doit ainsi se tenir au courant des évolutions et se familiariser avec de nouvelles technologies. 

Le Data Engineer peut être employé dans une entreprise ou dans une société de service. Il doit alors pouvoir s’adapter rapidement au contexte de l’entreprise dans laquelle il intervient. Il travaille souvent en équipe avec un Data Scientist, un Data Analyst ou d’autres métiers spécialisés dans le domaine informatique.

Fun fact

En 2016 éclate le scandale des Panama Papers : chaque année, des dizaines de pays perdent des milliards d’euros à cause de la fraude fiscale. L’affaire éclate avec la fuite de millions de documents confidentiels issus des dossiers du cabinet panaméen Mossack Fonseca. Ces documents, livrés par une source anonyme à un quotidien allemand, constituent la plus grande fuite de l’histoire du journalisme. Des rédactions et des journalistes du monde entier s’associent pour collaborer : le défi est de taille. Il faut reconstruire et exploiter une base de 11,5 millions de documents ! Ce travail titanesque a permis d’incriminer de nombreuses personnalités dans ce scandale financier : politiciens, nobles, artistes, sportifs de haut niveau, banques, criminels…

Les compétences

Les compétences techniques

  • Stockage de données
  • Modèles de données
  • dep-Programmation informatique
  • dep-Systèmes de gestion de base de données
  • Évaluation de la qualité de données
  • Infrastructure des tic
  • Langages de requête
  • Structure de l’information

Les compétences soft

  • Identification active des problèmes
  • Prédiction analytique
  • Raisonnement logique

Les formations

Bac + 5 : Master en informatique, en data science, ou en statistiques École d'ingénieur en informatique, data science ou statistiques

Cette description est-elle utile ?

6291 offres d'emplois disponibles