Data Engineer

Qu’est-ce qu’un data engineer exactement ?

L’arrivée récente du Big Data a provoqué l’apparition de métiers jusqu’alors inexistants : c’est le cas du data engineer.

Ce technicien de la data travaille dans le monde des data sciences, discipline mêlant mathématiques, statistiques et informatique, dont le but est d’exploiter, de traiter et d’analyser de gigantesques masses de données.

Cet expert a à sa charge la conception, la construction et le maintien des architectures qui vont être utilisées pour stocker et analyser toutes ces données.

Ces analyses ont un rôle central dans de nombreux domaines : cela va des recherches universitaires au machine learning, en passant par les enjeux commerciaux en entreprise.

Les missions du data engineer

Le data engineer, littéralement ingénieur de la donnée, a donc un rôle très technique. Ses missions sont les suivantes :

• concevoir l’architecture logicielle et matérielle pour stocker et traiter la Big Data ;
• créer les pipelines qui rassembleront les différentes sources de données, qui sont parfois disjointes ;
• développer et maintenir ces architectures et pipelines dans le temps.

Ces rôles sont très importants, puisque toute la chaîne de récupération, stockage et analyse de données (par le data scientist) repose sur les infrastructures créées par le data engineer.

Les compétences et qualités requises pour être data engineer

Pour effectuer correctement ces missions, le data engineer devra posséder certaines compétences, comme tout professionnel de la tech.

Son rôle étant très technique, il devra évidemment disposer de solides connaissances tech dans le milieu du Big Data.

Cela inclut, par exemple, la maîtrise des langages de programmation et librairies associés.

Technique, ce métier requiert aussi une forte logique, dont l’ingénieur de la donnée devra disposer, ainsi qu’un esprit analytique.

Il devra également être capable de comprendre les problématiques métiers, pour pouvoir prendre du recul sur toutes les sources de données dont il va disposer, et pouvoir organiser l’architecture logicielle en gardant en tête l’aspect stratégique du traitement des données.

Quelles différences entre un data engineer et un data scientist ?

Le data engineer se différencie du data scientist par son rôle plus technique : là où le scientist vient analyser la donnée, l’ingénieur, lui, construit et développe les systèmes chargés de stocker et traiter, techniquement parlant, la Big Data. Car, rappelons-le, la Big Data (mégadonnées en français) est notamment définie par son impossibilité à être gérée par des systèmes de gestion de base de données conventionnels.

Il est toutefois possible qu’une seule et même personne occupe les deux rôles : data engineer et data scientist.

La stack technique

La stack technique du data engineer peut ressembler à celle du data scientist, mais inclura des éléments plus techniques :

• un langage de programmation utilisé dans les data sciences, tel que le Python ;
• des bases de données, de divers types, SQL ou NoSQL ;
• des frameworks spécialisés, comme Hadoop, Spark ou Kafka.

Les formations existantes pour devenir data engineer

Le métier de data engineer étant moins connu (et reconnu) que celui de data scientist, peu de formations spécialisées existent. Néanmoins, de plus en plus de formations spécialisées en Data Engineering voient le jour. En résumé :

Au niveau universitaire, il sera difficile, en France, de trouver des parcours formant au métier de data engineer.

Néanmoins, il existe des masters formant à la Big Data, de manière plus générale, ce qui peut donc déboucher sur le métier de data engineer.

Citons par exemple le Mastère Spécialisé Big Data, à l’école Telecom Paris, ou encore le master DSBA (Data Sciences & Business Analytics), fruit d’une collaboration entre l’ESSEC et CentraleSupélec.

Pour se former au métier de data engineer, il existe également la possibilité de passer des certifications, gage de connaissances en matière de data sciences. Certaines sont dispensées par de grandes entreprises, avec par exemple la certification Data Science Associate de Dell.

En ligne, il existe également des formations plus longues et spécialisées dans le data engineering, surtout en anglais. C’est par exemple le cas de celle dispensée par le site DataScientest, et de sa formation 100% orientée data engineer.

Vous recherchez des talents en
freelance ? Dites-nous tout !

Nous trouvons pour vous le bon freelance tech' en 48 heures

Quelle est la rémunération du data engineer ?

La rémunération du data engineer junior

Le métier de data engineer étant très technique et très spécifique, son salaire est plutôt élevé, y compris chez les juniors.

Ainsi, un data engineer débutant pourra prétendre à un salaire allant de 38 à 42k€ brut par an.

En freelance, on parlera de TJM (tarif journalier moyen), et celui-ci commencera aux alentours de 500€.

La rémunération du data engineer sénior

S’il est sénior, le data engineer salarié peut espérer un salaire allant de 60 à 66k€ brut.

Freelance, son TJM tournera autour des 800€.

Recrutement d’un data engineer

Le data engineer exerçant une profession nouvelle et très technique, son recrutement peut être difficile.

Pour la technique, justement, on regardera son niveau de formation (ainsi que le contenu de celle-ci) et ses expériences passées, s’il en a.

Pour tester ses connaissances analytiques plus que techniques, il est intéressant de lui soumettre une problématique de traitement de Big Data, et de lui demander quelles solutions il mettrait en place.

Travaillant souvent avec un data scientist, cela peut également être une bonne idée de lui demander quelles connaissances il a de ce métier, pour à la fois pouvoir intervenir en cas de besoin, et être sûr qu’il ait bonne compréhension du rôle de chacun.

Quelle évolution de carrière pour un data engineer ?

Une fois plus d’expérience acquise, le data engineer peut voir sa carrière évoluer dans plusieurs directions.

Son évolution la plus logique est celle de tech lead Big Data. Ayant acquis suffisamment de connaissances, il pourra prétendre à ce poste, sorte de référent technique auprès d’une équipe Big Data.

S’il s’intéresse davantage au côté fonctionnel et à l’analyse de la Big Data, il pourra s’orienter vers le métier de data scientist, métier qu’il connaîtra déjà bien, pour avoir travaillé de pair avec des data scientists en tant qu’ingénieur.

Au contraire, s’il veut rester dans la technique pure, voire aller encore plus loin dans celle-ci, il a la possibilité de devenir architecte Big Data, et d’ainsi agir à un niveau encore plus bas dans le traitement des mégadonnées, en conseillant les entreprises sur les architectures à adopter dans leur utilisation spécifique de la Big Data.