Le métier de data engineer

Situer le data engineer parmi les métiers de la data et relier chaque incident de production à l'exigence qu'il viole.

Environ 15 min5 sectionsDébutant

Cette leçon compte pour :Data engineer (Fondamentaux)

Certification Central Campus : ni diplôme d'État, ni certification professionnelle enregistrée au répertoire national.

Dans cette leçon

Situer le data engineer par rapport à l'analyste, à l'analytics engineer et au data scientist.
Énoncer les trois exigences d'une donnée de production : disponibilité, qualité, fraîcheur.
Rattacher un incident réel à l'exigence qu'il viole pour savoir quoi surveiller.

Comment ça se passe

Lisez le cours section par section, puis passez à la pratique pour appliquer ce que vous venez de voir.

Pour commencer

Vous savez déjà écrire une requête SQL et manipuler des données avec Python. Mais qui s'assure que la table que vous interrogez existe ce matin, qu'elle contient les commandes d'hier et que ses montants sont justes ? C'est le rôle du data engineer. Avant de plonger dans les outils (dbt, Airflow, Spark), cette leçon situe le métier : sa mission, ses voisins, et la grille qui permet de juger un pipeline, les trois exigences de disponibilité, qualité et fraîcheur. Vous l'appliquerez à un vrai journal d'incidents.

Carte mentale

Zoom · molette · glisser pour explorer

Section 01

Intuition : la plomberie de la donnée

Le data engineer conçoit, construit et maintient les pipelines qui déplacent et transforment la donnée, des systèmes sources (base de production, CRM, API, fichiers de partenaires) jusqu'aux tables analytiques. Son livrable n'est ni un graphique ni un modèle : c'est une donnée sur laquelle on peut compter.

On compare souvent son travail à de la plomberie : invisible quand elle fonctionne, catastrophique quand elle fuit. Un dashboard soigné branché sur une table vide, périmée ou fausse ne vaut rien, et souvent personne ne s'en aperçoit avant qu'une décision soit prise dessus.

Concrètement, il automatise ce qui serait répétitif et risqué à la main : extraire chaque nuit, nettoyer, charger, vérifier qu'aucune ligne ne manque, alerter en cas d'anomalie, et rendre la reprise simple quand quelque chose casse.

Réfléchissez

Pensez à un tableau de bord que vous avez utilisé. Quelle donnée fallait-il préparer en amont pour qu'il fonctionne, et à quelle heure devait-elle être prête ?

Étape suivante

Place à la pratique

Mettez en application ce que vous venez de lire dans l'atelier de la leçon.