Le shot data d'aujourd'hui est le dernier de notre série en trois parties sur la détection du covariate shift (décalage de covariables) multivarié.

Lis les deux premières éditions ici si tu les as loupés :

La semaine dernière, nous avons abordé une technique intéressante pour détecter le covariate shift multivarié dans les modèles de ML.

Pour rappel, l’approche repose sur la reconstruction des données : on apprend une transformation qui projette les données d’entraînement dans un espace de dimension réduite, avant de tenter de reconstruire les données originales à partir de cette représentation compacte.

Schéma de l'objectif de la reconstruction de données : reconstituer les données d'origine après projection

La reconstruction de données vise à reconstituer les données d'origine après projection

Les autoencodeurs peuvent être utilisés ici :

Utilisation des Autoencodeurs pour la reconstruction de données

Utilisation des Autoencodeurs pour la reconstruction de données

Ce sont des réseaux de neurones qui apprennent à encoder des données dans un espace de dimension inférieure, puis à les décoder pour retrouver les données d'origine.

Comment utiliser ce modèle pour détecter un covariate shift ?

Imaginons que nous avons déployé notre modèle et qu'il génère des prédictions sur de nouvelles données.

Schéma des prédictions du modèle déployé sur de nouvelles données, dans la détection du covariate shift

Prédictions sur de nouvelles données

Dans un premier temps, nous pouvons entraîner un autoencodeur (ou d'autres modèles de reconstruction de données adaptés) sur les données d'entraînement.

Schéma d'utilisation d'un autoencodeur entraîné sur les données d'entraînement pour la reconstruction de données

Utilisation d'autoencodeurs pour la reconstruction de données

Ainsi, l'autoencodeur capturera l'essence de nos données d'entraînement et de leur distribution.

Ensuite, au fur et à mesure que de nouvelles données arrivent et que le modèle effectue des prédictions, nous pouvons évaluer périodiquement le changement de distribution des données en calculant l'erreur de reconstruction (reconstruction loss) sur ces nouvelles données à l'aide de l'autoencodeur :

  • Si l'erreur de reconstruction est élevée, cela indique que la distribution a changé.

  • Si l'erreur de reconstruction est faible, cela indique que la distribution est restée presque identique.

Schéma de la perte de reconstruction calculée sur de nouvelles données avec l'autoencodeur

Mais la question est : « Comment interpréter cette erreur de reconstruction ? »

Schéma posant la question de l'interprétation de la perte de reconstruction d'un autoencodeur

Par exemple, si la perte de reconstruction est de 0.4, comment déterminer si c'est significatif ?

Nous avons besoin de plus de contexte.

Voyons comment nous pouvons résoudre ce problème.

Le Contexte

Contrairement à ce que beaucoup pensent, le covariate shift se produit de manière graduelle dans les modèles de ML.

En d'autres termes, il est peu probable que notre modèle soit très performant un jour, et que le lendemain, il commence soudainement à sous-performer.

Schéma de la baisse progressive de la performance d'un modèle sous l'effet du covariate shift
❝

Bien sûr, une dégradation brutale est possible, mais elle est rarement due à un covariate shift. La plupart du temps, cela s'explique par d'autres problèmes, tels que :

  • Peut-être qu'en raison d'un problème de conformité, l'équipe a cessé de collecter une variable (feature). En conséquence, ton modèle n'a plus accès à une donnée avec laquelle il a été entraîné.

  • Ou peut-être y a-t-il eu des mises à jour de la logique d'inférence qui n'ont pas été testées de manière approfondie.

  • Et bien d'autres raisons.

En revanche, la dégradation des performances due au covariate shift se fait progressivement.

Et durant cette phase de dégradation, nous devons à un moment donné décider de mettre à jour le modèle pour l'ajuster à ces changements de distribution.

Schéma du réentraînement du modèle pour s'ajuster aux changements de distribution des données

Bien que l'erreur de reconstruction soit utile pour décider des mises à jour du modèle, elle n'a que très peu de sens en soi.

En termes simples, nous avons besoin d'une perte de reconstruction de base pour la comparer à nos futures erreurs de reconstruction.

Voici donc ce que nous pouvons faire.

Disons que nous décidons d'évaluer notre modèle chaque semaine.

Après avoir entraîné le modèle sur les données collectées :

Schéma des données collectées en une semaine après l'entraînement du modèle, pour détecter le covariate shift
  • Nous déterminons notre score de reconstruction de référence (baseline) à l'aide des nouvelles données collectées au cours de la première semaine de la phase post-entraînement.

  • Nous utilisons ce score de référence pour le comparer aux erreurs futures de chaque semaine suivante.

Schéma de l'autoencodeur servant à calculer le score de reconstruction de référence (baseline)

Une différence importante entre l'erreur de reconstruction observée et le score de référence indiquera un covariate shift.

Plutôt simple et intuitif, non ?

Cette métrique de reconstruction, couplée aux performances du modèle, devient un moyen fiable de déterminer si un covariate shift s'est installé.

Bien sûr, comme nous l'avons évoqué la semaine dernière les vraies étiquettes (true labels) ne sont parfois pas immédiatement disponibles.

Il peut donc être difficile d'évaluer les performances en production.

Pour pallier cela, toutes les équipes ML s'efforcent de recueillir en continu les retours des utilisateurs finaux afin de savoir si le modèle a bien performé ou non.

Schéma du feedback des utilisateurs finaux pour suivre les performances du modèle en production

On l'observe particulièrement dans les systèmes de recommandation :

  • Cette publicité était-elle pertinente pour vous ?

  • Cette nouvelle vidéo t’a-t-elle intéressé ?

  • Etc.

Ces éléments font partie de la phase de logging du modèle, où nous suivons ses performances en production.

Cela nous aide à décider si nous devons mettre à jour notre modèle ou non.

Schéma de la décision de mettre à jour ou non le modèle face au covariate shift

Cependant, les mises à jour de modèles ne se résument pas à : « Entraîner un nouveau modèle aujourd'hui et supprimer le précédent. »

Jamais !

Au contraire, tous les déploiements sont gérés par un système rigoureux de contrôle de version.

J'ai écrit plusieurs mini-cours sur le contrôle de version des déploiements, que tu peux lire ensuite pour acquérir cette compétence ML cruciale dans le monde professionnel :

Envie d'aller plus loin ? DataXp t'attend : formations et parcours pour progresser en data science, machine learning et IA.

👉 À toi de jouer : Quelles sont les autres méthodes pour détecter un covariate shift dans les modèles de ML ? Dis-le-moi en commentaire :)


Commentaires

Avatar

ou participer

À lire ensuite

Des shots dans la même veine, à lire entre deux tâches.

Voir tous les shots
caret-right