D'après mon expérience, la plupart des projets ML n'ont pas de système dédié à la gestion et au suivi des expériences.
Comme le nom l'indique, ce type de système permet de tracer :
La configuration du modèle, critique pour la reproductibilité.
Les performances du modèle, indispensables pour comparer différentes approches.
...et ce, à travers toutes les expériences.
Pourtant, la plupart des projets ML s'appuient sur des systèmes manuels qui ne capturent que des détails limités :
La performance finale (sans les courbes de convergence époque par époque)
Les hyperparamètres, etc.
Or, d'une expérience à l'autre, énormément de choses peuvent changer :

Les hyperparamètres
Les données
Le type de modèle
Tout tracer avec précision peut vite devenir fastidieux et chronophage.
Et ce n'est pas tout. Imagine que ton pipeline ML comporte trois étapes :

Si tu n'as modifié que l'entraînement du modèle (étape 3), disons que tu as changé un hyperparamètre, est-ce qu'il est utile de relancer les deux premières étapes ?
Non, clairement pas.
Pourtant, la plupart des pipelines ML relancent tout depuis le début, gaspillant du temps et des ressources de calcul.
On peut bien sûr ajouter des flags manuels pour éviter ça :

Mais une solution manuelle reste toujours sujette aux erreurs.
Pour éviter cette friction inutile, un système de suivi efficace doit être capable de :
Détecter tous les changements apportés au pipeline ML.
Identifier les étapes qu'il peut éviter de relancer.
N'exécuter que les étapes strictement nécessaires pour produire les résultats finaux.
La motivation est évidente. Pourtant, c'est une compétence que beaucoup ignorent, et on continue à voir des systèmes manuels inefficaces partout : Sheets, Docs, et compagnie.
Et pour versionner aussi tes données, là où Git atteint ses limites, j'ai présenté le data version control dans ce shot :
Envie d'aller plus loin ? DataXp t'attend : formations et parcours pour progresser en data science, machine learning et IA.


