MINI-COURS #40      ⏱️ 35 – 39 minutes de lecture

🔒 Contenu réservé aux membres du Cercle des Experts
Débloque la leçon complète et tous les autres mini-cours.

Au programme

Introduction

Plus que jamais, on a besoin de méthodes capables de communiquer (ou d'expliquer) de façon fiable le comportement d'un modèle.

Pourquoi ? Parce que faire aveuglément confiance aux prédictions d'un modèle de ML peut être fatal, surtout dans les environnements à enjeux élevés, où les décisions prises à partir de ces prédictions peuvent affecter des vies humaines, la stabilité financière ou des infrastructures critiques.

Par exemple, si un modèle prédit qu'un patient est en bonne santé et n'a besoin d'aucun traitement, cette information n'est pas forcément très utile à un médecin.

Schéma : une IRM cérébrale est analysée par un modèle de ML qui prédit « La personne est en bonne santé »

En réalité, un médecin procède à un diagnostic différentiel, et comprendre les nuances est crucial. Par exemple : une probabilité de 10 % que le patient ait un cancer, d'après une IRM.

Dans ce type de situation, il ne s'agit pas seulement de produire des prédictions, mais aussi de comprendre les raisons qui les sous-tendent.

Des méthodes comme les conformal predictions sont généralement bien adaptées pour fournir aux utilisateurs non techniques des intervalles de confiance ou des ensembles de prédiction (on en a déjà parlé juste en dessous)...

...mais les data scientists et les ML engineers qui construisent ces modèles ont souvent besoin d'aller plus loin, avec des indications beaucoup plus techniques sur le fonctionnement interne du modèle.

Autrement dit, tu as besoin d'outils qui te donnent une compréhension fine de la façon dont chaque feature influence les prédictions. Dans ce cas, un ensemble de prédiction ou un score de confiance ne te servira pas à grand-chose.

Dans de nombreux cas, les Partial Dependence Plots (PDP) et les Individual Conditional Expectation (ICE) plots sont mes outils de prédilection pour ce genre d'analyse. Ils permettent d'aller au-delà des simples intervalles de confiance, pour explorer la relation entre des features précises et les prédictions du modèle, et comprendre comment il les construit.

Si tu as déjà vu le visuel suivant, où l'on présentait les 11 graphiques les plus importants en data science, tu as peut-être remarqué que les PDP en faisaient partie :

Infographie des 11 graphiques clés en data science : KS Plot, SHAP, courbe ROC, QQ Plot, variance cumulée, coude, silhouette, Gini vs entropie, biais-variance, PDP et précision-rappel.

Dans ce dossier, on va voir en détail comment sont construits les PDP et les ICE plots, et comment les interpréter (sans se laisser piéger).

💡Ici, je pars du principe que tu sais déjà pourquoi les méthodes d'interprétabilité sont si importantes en data science et en ML. Sinon, la raison est assez évidente, comme le terme lui-même le suggère : « méthodes d'interprétabilité ».

C'est parti !

#1) Partial Dependence Plots (PDP)

Introduction

D'après mon expérience, ce nom (Partial Dependence Plots) sème la pagaille dans la tête de beaucoup d'apprenants, alors qu'il devient très simple une fois décomposé.

  • Partial signifie qu'on ne s'intéresse pas à l'ensemble de l'espace des features, mais seulement à un sous-ensemble.

Schéma : une matrice X de features colorées est découpée en sous-ensembles d'une ou deux features, qui forment l'espace partiel.
  • On doit donc isoler une ou deux features d'intérêt en maintenant toutes les autres constantes, d'où le terme « partial ».

  • Cela permet d'étudier l'impact de features précises sur les prédictions du modèle, sans interférence des autres.

  • Dependence désigne la relation entre ces features isolées et les prédictions du modèle.

Schéma : des sous-ensembles d'une ou deux features colorées exercent une influence sur le vecteur cible y.
  • On cherche à comprendre comment les variations de ces features influencent le résultat prédit.

  • Autrement dit, on trace à quel point les prédictions dépendent de ces features particulières.

En combinant les deux, la Partial Dependence désigne donc la relation entre une feature précise (ou une paire de features) et le résultat prédit, en supposant que toutes les autres features restent fixes.

Cette simplification est la clé pour comprendre l'effet marginal d'une ou deux features à la fois, et rend le comportement du modèle beaucoup plus facile à interpréter.

Rendons tout cela concret en passant par les étapes de construction d'un PDP.

Créer un PDP

Voyons comment construire un PDP pas à pas, avec des explications de code en Python (sklearn et numpy) et un modèle Random Forest.

Pour ce tutoriel, on va créer un dataset factice, entraîner le modèle, puis calculer le Partial Dependence Plot (PDP) sans le tracer tout de suite.

1) Dataset factice

On commence par créer un dataset factice avec sklearn, puis on entraîne un Random Forest.

Pour l'instant, l'overfitting ne nous préoccupe pas : l'objectif de ce tutoriel n'est pas d'entraîner le meilleur modèle possible.

2) Choisir la ou les features d'intérêt

Ici, j'ai choisi un dataset à cinq features et entraîné un Random Forest regressor. On va se concentrer sur la feature d'indice 0 pour générer le PDP.

💡Les PDP se limitent généralement à 1 ou 2 features, car au-delà, la visualisation devient difficile (une courbe pour une feature, une surface ou une heatmap pour deux) et l'interprétation perd en lisibilité. Les PDP sont donc surtout adaptés à l'étude des effets marginaux d'une ou deux features à la fois.

3) Maintenir les autres features constantes

Ensuite, on doit maintenir toutes les autres features constantes pendant qu'on fait varier les valeurs de la feature sélectionnée (celle d'indice 0 dans notre cas).

Schéma : un échantillon Xᵢ de quatre cases. La première feature (bleue) varie, les trois autres (hachurées) restent fixes.

Simplifions un peu, car cette étape est essentielle.

Rappelle-toi que notre dataset contient 1000 observations (montrées à nouveau ci-dessous) :

Pour chaque échantillon du dataset :

  • On fixe toutes les autres features.

  • On fait varier les valeurs de la feature sélectionnée.

Disons qu'on fait varier la valeur de la feature sélectionnée dix fois. Cela signifie que :

  • Pour le premier échantillon d'entraînement, on doit générer dix instances différentes.

Schéma : le 1er échantillon est décliné en dix lignes numérotées de 1 à 10, où seule la première feature change et les autres restent fixes.
  • Pour le deuxième échantillon, on doit aussi générer dix instances différentes.

Schéma : le 2e échantillon est décliné en dix lignes numérotées de 1 à 10, où seule la première feature change et les autres restent fixes.
  • Et ainsi de suite.

Plus formellement, cette étape consiste à créer plusieurs versions de chaque échantillon en modifiant la valeur de la feature sélectionnée, tout en gardant les autres inchangées.

Le code suivant s'en charge :

  • D'abord, on définit la plage de valeurs de la feature choisie (par exemple, dix valeurs entre le min et le max de la feature).

  • Ensuite, pour chaque valeur de la feature, on copie le dataset d'origine et on remplace les valeurs de la feature sélectionnée :

Dans ces deux morceaux de code, on utilise np.linspace pour créer dix valeurs entre le minimum et le maximum de la feature sélectionnée. On copie ensuite le dataset et on remplace la feature choisie par ces nouvelles valeurs, en gardant les autres constantes.

Si on regarde la taille du dataset obtenu, on constate qu'il est bien dix fois plus grand que le dataset d'origine :

Parfait !

💡 En continuant, tu vas découvrir :

  • Comment générer les prédictions et obtenir 1000 courbes individuelles (les fameuses ICE) à partir de ce dataset démultiplié

  • Comment moyenner ces prédictions pour tracer le PDP, et comment lire correctement les courbes obtenues

  • Un cas d'usage concret (revente de maisons) pour transformer un PDP en décision business, ainsi que l'adaptation aux features catégorielles et à la classification binaire

  • Le piège qui fait croire qu'une feature n'a aucun effet alors qu'elle est décisive, et pourquoi un PDP seul peut être trompeur

  • Les limites cachées des PDP (features corrélées, zones sans données) et comment les générer en une ligne avec sklearn

logo

La suite de ce mini-cours est réservée aux membres du Cercle des Experts.

Tu as déjà le début. Pour accéder à l’explication complète et aux autres mini-cours, rejoins le Cercle des Experts.

Rejoindre le Cercle des Experts

Déjà abonné(e) ? Se connecter

En devenant membre, tu débloques :

  • L’intégralité de ce mini-cours, sans coupure
  • Tous les mini-cours et les ressources associées
  • Chaque nouveau mini-cours dès sa sortie

Commentaires

Avatar

ou participer

À lire ensuite

Des shots dans la même veine, à lire entre deux tâches.

Voir tous les shots
caret-right