D'après mon expérience, la plupart des projets ML n'ont pas de système dédié à la gestion et au suivi des expériences.

Comme le nom l'indique, ce type de système permet de tracer :

  • La configuration du modèle, critique pour la reproductibilité.

  • Les performances du modèle, indispensables pour comparer différentes approches.

...et ce, à travers toutes les expériences.

Pourtant, la plupart des projets ML s'appuient sur des systèmes manuels qui ne capturent que des détails limités :

  • La performance finale (sans les courbes de convergence époque par époque)

  • Les hyperparamètres, etc.

Or, d'une expérience à l'autre, énormément de choses peuvent changer :

Deux expériences ML successives dont les hyperparamètres, les données et le type de modèle peuvent différer
  • Les hyperparamètres

  • Les données

  • Le type de modèle

Tout tracer avec précision peut vite devenir fastidieux et chronophage.

Et ce n'est pas tout. Imagine que ton pipeline ML comporte trois étapes :

Pipeline ML en trois étapes, dont l'entraînement du modèle en étape 3

Si tu n'as modifié que l'entraînement du modèle (étape 3), disons que tu as changé un hyperparamètre, est-ce qu'il est utile de relancer les deux premières étapes ?

Non, clairement pas.

Pourtant, la plupart des pipelines ML relancent tout depuis le début, gaspillant du temps et des ressources de calcul.

On peut bien sûr ajouter des flags manuels pour éviter ça :

Flags manuels ajoutés au pipeline ML pour éviter de relancer les étapes inchangées

Mais une solution manuelle reste toujours sujette aux erreurs.

Pour éviter cette friction inutile, un système de suivi efficace doit être capable de :

  • Détecter tous les changements apportés au pipeline ML.

  • Identifier les étapes qu'il peut éviter de relancer.

  • N'exécuter que les étapes strictement nécessaires pour produire les résultats finaux.

La motivation est évidente. Pourtant, c'est une compétence que beaucoup ignorent, et on continue à voir des systèmes manuels inefficaces partout : Sheets, Docs, et compagnie.


Et pour versionner aussi tes données, là où Git atteint ses limites, j'ai présenté le data version control dans ce shot :

Envie d'aller plus loin ? DataXp t'attend : formations et parcours pour progresser en data science, machine learning et IA.

Commentaires

Avatar

ou participer

Avatar

Jean-Baptiste Billaud6 months ago

Et oui, le suivi d'exp fait partie des briques de bases du MLOps avec DVC. Mais la maîtrise de ces outils n'est pas forcément obligatoire, tout dépend de l'environnement de travail (solo vs équipe) et de ses centres d'intérêt. Certains préférons se concentrer sur l'aspect purement IA et d'autres sur tout l'environnement autour afin de rendre le modèle reproductible et exploitable.

À lire ensuite

Des shots dans la même veine, à lire entre deux tâches.

Voir tous les shots
caret-right