MINI-COURS #31 ⏱️ 24 – 28 minutes de lecture
🔒 Contenu réservé aux membres du Cercle des Experts
Débloque la leçon complète et tous les autres mini-cours.
Au programme
Introduction
Comme tu le sais déjà, l'objectif principal d'un modèle de classification est de ranger des points de données dans des classes prédéfinies, à partir de leurs features.

Plus techniquement : l'objectif est d'apprendre une fonction f qui mappe un vecteur d'entrée (x) vers un label (y).
On distingue deux grandes familles de modèles :
Les modèles probabilistes : ils produisent une estimation de probabilité pour chaque classe.
Les modèles à labeling direct : ils prédisent directement le label de classe, sans estimation probabiliste.
On a déjà abordé ce sujet récemment dans un shot data, donc on ne s'y attarde pas :
Continuons.
En ce qui concerne les réseaux de neurones (qui sont des modèles probabilistes), l'entraînement se fait typiquement avec la cross-entropy loss, définie comme suit :

Où :
N est le nombre d'échantillons dans le dataset.
C est le nombre de classes.
yij est une variable indicatrice qui vaut 1 si le iᵉ échantillon appartient à la classe j, et 0 sinon.
pij est la probabilité prédite que le iᵉ échantillon appartienne à la classe j selon le modèle.
Si cette fonction de perte te semble complexe, pense-y simplement comme la somme de la log-loss (la fonction de perte pour la classification binaire) calculée sur chaque classe.
La cross-entropy est sans conteste l'une des loss functions les plus utilisées pour entraîner des modèles de classification multiclasse. Pourtant, elle n'est pas adaptée à toutes les situations.
Plus précisément : dans de nombreuses tâches de classification réelles, les labels de classe possèdent un ordre relatif entre eux.

Prenons l'exemple d'une tâche de détection d'âge, où l'objectif est de prédire la tranche d'âge d'un individu à partir de ses traits du visage :

Dans ce cas, les labels représentent typiquement des tranches ou groupes d'âge : enfant, adolescent, jeune adulte, adulte d'âge moyen, senior. Ces groupes possèdent une relation ordonnée naturelle : enfant précède adolescent, adolescent précède jeune adulte, et ainsi de suite.
Les approches de classification classiques, comme la cross-entropy loss, traitent chaque groupe d'âge comme une catégorie séparée et indépendante. Elles ne capturent donc pas les relations ordinales sous-jacentes entre ces groupes.
Conséquence : le modèle peut peiner à distinguer les groupes adjacents, ce qui dégrade ses performances et introduit des incohérences de ranking.
Par "incohérences de ranking", on entend les situations où les probabilités prédites pour des groupes d'âge adjacents ne respectent pas leur ordre naturel.

Par exemple : si le modèle prédit une probabilité plus faible pour le groupe "enfant" que pour le groupe "adolescent", alors que "adolescent" vient logiquement après "enfant" dans la hiérarchie des âges, on est face à une incohérence de ranking.
On peut aussi l'interpréter ainsi : si le vrai label d'un échantillon est "jeune adulte", on souhaite que le classifieur indique que cet échantillon est "au moins un enfant", "au moins un adolescent", et "au moins un jeune adulte".

Au-delà, il peut commencer à produire de faibles probabilités pour les autres groupes d'âge, comme illustré ci-dessus.
Ces incohérences apparaissent fréquemment avec la cross-entropy loss. Elles sont la conséquence directe de l'absence de prise en compte explicite des relations ordinales entre les groupes d'âge dans les approches de classification traditionnelles.
Puisque la cross-entropy traite chaque groupe d'âge comme une catégorie distincte sans ordre inhérent, le modèle peut avoir du mal à apprendre et à généraliser la progression correcte des âges.
Il peut alors exhiber un comportement de ranking incohérent, en attribuant des probabilités plus élevées à des groupes d'âge qui devraient logiquement avoir une priorité inférieure dans la hiérarchie.

Cette incohérence nuit non seulement à l'interprétabilité du modèle, mais aussi à sa précision prédictive, surtout dans les cas où une estimation d'âge précise est cruciale.
Il faut noter que les techniques de classification ordinale ne se limitent pas à l'âge. Elles s'appliquent à un large spectre de domaines où les labels de classe possèdent un ordre inhérent.
Quelques exemples concrets :
Avis produits : en analyse de sentiment sur des avis clients, des labels comme "
excellent", "bon", "moyen", "mauvais" et "terrible" représentent un classement ordonné du sentiment exprimé.Indicateurs économiques : en prévision économique, des indicateurs comme "
forte croissance", "croissance modérée", "stagnation", "récession" et "dépression" représentent un classement ordonné des conditions économiques.Évaluation des risques : les modèles de gestion des risques catégorisent souvent les risques en niveaux ordonnés :
faible,moyen,élevé, en fonction de la probabilité et de l'impact d'événements potentiels.Notation scolaire : en évaluation éducative, les niveaux de performance des élèves sont souvent classés par notes (
A,B,C,D,F), qui représentent un ranking ordonné du meilleur au moins bon.Et bien d'autres encore.
Ces exemples montrent à quel point la classification ordinale est omniprésente dans des domaines variés.
Revenons au sujet.
Tout ce qu'on vient de voir pointe vers le même besoin : on veut que notre modèle classe correctement les points de données et qu'il comprenne et respecte l'ordre naturel présent dans les labels, y compris au moment de l'inférence.
Or, comme on l'a vu, les fonctions de perte couramment utilisées comme la cross-entropy multiclasse ne capturent pas explicitement cette information ordinale.
La classification ordinale
Comme son nom l'indique, la classification ordinale consiste à prédire des labels sur une échelle ordinale.
Plus formellement : le modèle est entraîné de manière à apprendre une règle de ranking qui mappe un point de données x vers un ensemble ordonné y, où chaque élément yᵢ ∈ y représente une classe ou catégorie, et l'ordre de ces éléments reflète la relation ordinale entre eux.

En classification ordinale, l'enjeu n'est plus simplement d'assigner des points de données à des classes discrètes, mais de comprendre et de respecter l'ordre relatif ou la hiérarchie présente dans ces classes.
Comme on l'a vu, c'est particulièrement important dans les tâches où les classes présentent une progression ou un ranking naturel : groupes d'âge, niveaux de sévérité, catégories de performance.
La classification ordinale poursuit deux objectifs :
Prédire avec précision les labels de classe pour chaque point de données.
S'assurer que ces prédictions respectent l'ordre ou le ranking inhérent aux classes.
Pour y parvenir, il faut des techniques spécialisées qui vont au-delà des approches de classification traditionnelles.
Parmi les nombreuses méthodes proposées dans la littérature, il en existe une que j'ai trouvée particulièrement efficace et intuitive à utiliser : CORAL (COnsistent RAnk Logits).
C'est une méthode conçue spécifiquement pour les tâches de classification ordinale. Elle s'attaque au problème des incohérences de ranking dans les modèles de classification traditionnels, notamment dans les scénarios où les labels possèdent un ordre ou une hiérarchie inhérente.
L'approche CORAL garantit que les probabilités prédites pour les différentes classes maintiennent un ordre de ranking cohérent, aligné avec les relations ordinales entre les classes.
Comme on le verra par la suite, elle y parvient en modifiant la couche de sortie de l'architecture du réseau de neurones pour produire des logits (scores bruts de sortie) qui encodent explicitement l'information ordinale.
CORAL (COnsistent RAnk Logits)
Considère un dataset d'entraînement D = (X, y) de taille N, soit |D| = N :

Ici, yᵢ est le rang correspondant à un exemple d'entraînement xᵢ, où les labels de rang individuels possèdent un ordre inhérent.
Soit Y l'ensemble des labels uniques :

💡 En continuant, tu vas découvrir :
Comment CORAL transforme les labels ordinaux en tâches binaires pour forcer la cohérence du ranking
La modification concrète de l'architecture réseau : poids partagés, biais indépendants, Sigmoid à la place de Softmax
La dérivation complète de la loss function CORAL, étape par étape
L'implémentation PyTorch de zéro : réseau, loss, boucle d'entraînement
Les résultats expérimentaux sur un dataset réel (avis hôteliers TripAdvisor)
La suite de ce mini-cours est réservée aux membres du Cercle des Experts.
Tu as déjà le début. Pour accéder à l’explication complète et aux autres mini-cours, rejoins le Cercle des Experts.
Rejoindre le Cercle des ExpertsEn devenant membre, tu débloques :
- L’intégralité de ce mini-cours, sans coupure
- Tous les mini-cours et les ressources associées
- Chaque nouveau mini-cours dès sa sortie

