Une des choses qui me rend toujours un peu prudent et sceptique quand j'utilise kNN, c'est sa HAUTE sensibilité au paramètre k.
Pour mieux comprendre, considère ce dataset fictif en 2D ci-dessous. Le point rouge est une instance de test pour laquelle on veut générer une prédiction avec kNN.

Disons qu'on fixe k=7.
La prédiction pour l'instance rouge se fait en deux étapes :
D'abord, on identifie les
7plus proches voisins du point rouge.Ensuite, on l'assigne à la classe la plus représentée parmi ces 7 voisins.
C'est illustré ci-dessous :

Le problème, c'est que l'étape 2 repose entièrement sur la notion de contribution de classe : la classe qui contribue le plus parmi les k plus proches voisins est assignée au point.
Mais ça peut échouer lamentablement dans certains cas, surtout quand une classe a peu d'échantillons.
Par exemple, comme montré ci-dessous, avec k=7, le point rouge ne pourra JAMAIS être assigné à la classe jaune, peu importe à quel point il est proche de ce cluster :

S'il est facile d'ajuster visuellement l'hyperparamètre k dans cette démo, cette approche est inapplicable sur des datasets en haute dimension.
Il existe deux façons de résoudre ce problème.
Solution #1 : Utiliser un kNN pondéré par la distance
Les kNN pondérés par la distance sont une alternative bien plus robuste aux kNN traditionnels.
Comme leur nom l'indique, à l'étape 2, ils prennent en compte la distance au plus proche voisin.
Résultat : plus un voisin est proche, plus il aura d'impact sur la prédiction finale.
Son efficacité est évidente sur l'image ci-dessous.

Sur le premier graphique, le kNN traditionnel (avec k=7) ne peut jamais prédire la classe bleue.
Sur le second graphique, le kNN pondéré par la distance se montre bien plus robuste dans sa prédiction.
D'après mon observation, un kNN pondéré par la distance fonctionne généralement bien mieux qu'un kNN traditionnel. Et intuitivement, ça se tient.
Pourtant, ça peut passer inaperçu parce que, par défaut, l'implémentation kNN de sklearn utilise une pondération "uniform".

Solution #2 : Mettre à jour dynamiquement l'hyperparamètre k
Reprenons la démo ci-dessus :

Ici, on pourrait arguer qu'il ne faut jamais fixer l'hyperparamètre k à une valeur supérieure au nombre minimum d'échantillons d'une classe dans le dataset.
Bien sûr, je suis d'accord avec ça, dans une certaine mesure.
Mais laisse-moi t'expliquer l'inconvénient de cette approche.
Fixer une valeur très basse de k peut être très problématique dans le cas de datasets extrêmement déséquilibrés.

Pour te donner plus de contexte, j'ai personnellement utilisé kNN sur des datasets qui ne contenaient qu'une ou deux instances pour une classe donnée dans le training set.
Et j'ai constaté que fixer un k bas (disons 1 ou 2) menait à des performances sous-optimales parce que le modèle n'évaluait pas les patterns de voisinage de manière aussi globale que lorsqu'un k élevé était utilisé.
Autrement dit, fixer une valeur relativement plus grande de k donne généralement des prédictions plus éclairées qu'avec des valeurs basses.
Mais on vient de voir que si on fixe un k élevé, la classe majoritaire peut dominer le résultat de classification :

Pour résoudre ce problème, j'ai trouvé que mettre à jour dynamiquement l'hyperparamètre k était bien plus efficace.
Plus précisément, cette approche se décompose en trois étapes.
Pour chaque instance de test :
Commence avec une valeur standard de
kcomme d'habitude et identifie leskplus proches voisins.Ensuite, mets à jour la valeur de
kcomme suit :
Pour toutes les classes uniques présentes parmi les
kplus proches voisins, trouve le nombre total d'instances d'entraînement qu'elles contiennent.

Mets à jour la valeur de
ken :

Effectue maintenant le vote majoritaire uniquement sur les
k'premiers voisins.
Intuitivement, ça se tient aussi :
Si une classe minoritaire apparaît dans les
kplus proches voisins, on doit réduire la valeur dekpour que la classe majoritaire ne domine pas.Si une classe minoritaire N'apparaît PAS dans les
kplus proches voisins, on ne modifiera probablement pas la valeur deket on procédera à une classification plus globale.
Le seul inconvénient, c'est que tu ne trouveras pas cette approche dans des implémentations open-source. D'ailleurs, dans mes propres projets aussi, j'ai dû écrire une implémentation custom, donc garde ça en tête.
👉 À toi : Quelles sont d'autres façons de rendre les kNN plus robustes quand une classe a peu d'échantillons ?
Envie d'aller plus loin ? DataXp t'attend : formations et parcours pour progresser en data science, machine learning et IA.

