Le ML en conditions réelles, c'est avant tout trouver le bon équilibre entre vitesse, taille du modèle et performance. Nous l'avons aussi constaté en découvrant différentes techniques de compression de modèles.
LE CONCEPT
Sélectionner les features les plus utiles
Une façon courante de :
gagner en vitesse,
réduire la taille,
maintenir (ou dégrader au minimum) les performances…
…consiste à utiliser la sélection de features (feature selection).
Comme son nom l'indique, l'idée est de sélectionner le sous-ensemble de features le plus utile du dataset.

LA MÉTHODE
La méthode Probe en 5 étapes
Il existe énormément de méthodes de feature selection, mais je trouve la « méthode Probe » particulièrement fiable, pratique et intuitive.
L'illustration ci-dessous montre comment elle fonctionne :

Étape 1) Ajouter une feature aléatoire (du bruit).
Étape 2) Entraîner un modèle sur le nouveau dataset.
Étape 3) Mesurer l'importance des features.
Étape 4) Supprimer les features d'origine classées sous la feature aléatoire.
Étape 5) Répéter jusqu'à convergence.
L'INTUITION
Pourquoi ça marche, et ce que ça coûte
L'idée est très intuitive : si une feature est moins importante qu'une feature aléatoire, elle est probablement inutile pour le modèle.
C'est particulièrement utile quand tu as beaucoup de features et que tu veux écarter celles qui ne contribuent pas au modèle.
Bien sûr, la méthode Probe a un inconvénient. Il faut entraîner plusieurs modèles :
Entraîner un premier modèle avec la feature aléatoire et supprimer les features inutiles.
Continuer à entraîner de nouveaux modèles jusqu'à ce que la feature aléatoire soit classée comme la moins importante (en général, quelques modèles suffisent pour converger).
Entraîner le modèle final sans la feature aléatoire.
Cette approche reste néanmoins très utile pour réduire la complexité du modèle.
À retenir : une feature moins importante qu'une feature aléatoire est probablement inutile pour ton modèle.
Pour l'étape 3, il te faut une mesure d'importance des features. J'en présente une dans cet autre shot :
Et une fois les features importantes sélectionnées, tu peux réduire encore la taille du modèle avec les techniques de compression de modèles, détaillées dans ce mini-cours :
Envie d'aller plus loin ? DataXp t'attend : formations et parcours pour progresser en data science, machine learning et IA.
👉 Et maintenant, à toi de jouer : quelles autres techniques de sélection de features connais-tu ?



