Dans le shot data de lundi, on a exploré les modèles génératifs et discriminatifs.
Voici le visuel de ce post pour une remise en contexte rapide :
Aujourd'hui, on va aller plus loin avec une sous-catégorisation des modèles discriminatifs.
Rappel rapide
Les modèles discriminatifs :
apprennent des frontières de décision qui séparent les différentes classes.
maximisent la probabilité conditionnelle :
P(Y|X)— étant donné une entrée X, maximiser la probabilité du label Y.sont conçus explicitement pour les tâches de classification.
Les modèles génératifs :
maximisent la probabilité jointe :
P(X, Y)apprennent la distribution conditionnelle de classe
P(X|Y)ne sont pas conçus pour la classification, mais peuvent néanmoins s'y prêter.
Pour aller plus loin : Modèles génératifs et discriminatifs.
Sous-catégorisation des modèles discriminatifs
En résumé, les modèles discriminatifs apprennent directement la fonction f qui associe un vecteur d'entrée (x) à un label (y). On peut les diviser en deux catégories :
Les modèles probabilistes
Les modèles à labellisation directe
Le visuel suivant résume bien leurs différences :
Modèles probabilistes
Modèles probabilistes
Comme leur nom l'indique, les modèles probabilistes fournissent une estimation probabiliste pour chaque classe.
Pour cela, ils apprennent les probabilités de classe a posteriori P(Y|X) — étant donné une entrée X, quelle est la probabilité du label Y.
Leurs prédictions reflètent donc le niveau de confiance du modèle pour une classe donnée.
Ce qui les rend particulièrement adaptés quand l'incertitude est un enjeu clé du problème.
Exemples :
Régression logistique
Réseaux de neurones
Champs aléatoires conditionnels (CRFs)
Modèles à labellisation directe
Modèles à labellisation directe
Contrairement aux modèles probabilistes, les modèles à labellisation directe (aussi appelés classifieurs sans distribution) prédisent directement le label de classe, sans fournir d'estimation probabiliste.
Leurs prédictions n'indiquent donc aucun degré de confiance.
Ce qui les rend inadaptés quand l'incertitude de prédiction est un critère important.
Exemples :
Random forests
kNN
Arbres de décision
Cela dit, il est important de noter que ces modèles peuvent, d'une certaine façon, être manipulés pour produire une probabilité.
Par exemple, le classifieur par arbre de décision de Sklearn propose bien une méthode predict_proba(), comme illustré ci-dessous :
C'est un peu contre-intuitif au premier abord.
Mais dans ce cas, le modèle calcule les probabilités de classe en regardant la proportion de labels d'entraînement présents dans un nœud feuille.
Autrement dit, supposons qu'une instance de test arrive dans un nœud feuille donné pour la classification finale. Le modèle calculera les probabilités comme la fraction des labels d'entraînement présents dans ce nœud feuille.
Ces manipulations ne capturent toutefois pas la "vraie" incertitude d'une prédiction.
En effet, l'incertitude est identique pour toutes les prédictions qui tombent dans le même nœud feuille.
Il vaut donc toujours mieux privilégier les classifieurs probabilistes quand l'incertitude est un critère déterminant.
Envie d'aller plus loin ? DataXp t'attend : formations et parcours pour progresser en data science, machine learning et IA.
👉 À toi de jouer : peux-tu citer un modèle supplémentaire pour chaque catégorie — probabiliste et labellisation directe ?
