Je vois régulièrement de nombreuses personnes peiner à comprendre intuitivement les métriques de Précision et de Rappel.
Pour simplifier, nous appellerons la "classe positive" notre classe d'intérêt.
La Précision
Formellement, la Précision répond à la question suivante :
Quelle proportion des prédictions positives était réellement positive ?
Lorsque tu es dans un mindset de Précision, ton objectif n'est pas de classifier correctement tous les échantillons positifs.
En revanche, il est crucial que chaque prédiction positive que tu obtiens soit effectivement positive.
L'illustration ci-dessous est un exemple de Précision élevée. Toutes les prédictions positives sont bien positives, même si certains échantillons positifs ont été oubliés.
Précision : Toutes les prédictions positives sont réellement positives, même si certaines ont été omises.
Prenons l'exemple d'un système de recommandation de livres. Disons qu'une prédiction positive signifie que tu aimeras le livre recommandé.
Pour la Précision, peu importe si le modèle ne recommande pas tous les bons livres qui existent.
Analogie de la Précision : Ce n'est pas grave de manquer certains bons livres, tant que seuls de bons livres sont recommandés.
Mais ce qu'il recommande doit être correct.
Ainsi, même si ce système ne recommandait qu'un seul livre et que tu l’aimes bien, cela donnerait une Précision de 100 %.
Car ce qu'il a classifié comme « Positif » était bien « Positif ».
Pour résumer, dans un mindset de Précision élevée, toutes les prédictions positives doivent être réellement positives.
Le Rappel
Le Rappel est un peu différent. Il répond à la question suivante :
Quelle proportion des échantillons réellement positifs a été correctement identifiée par le modèle ?
Lorsque tu es dans un mindset de Rappel, ton but est de classifier correctement chaque échantillon positif.
Ce n'est pas grave si certaines prédictions positives n'étaient pas réellement positives.
Mais tous les échantillons positifs doivent être classifiés comme positifs.
L'illustration ci-dessous est un exemple de Rappel élevé. Tous les échantillons positifs ont été correctement classifiés comme positifs, même si certains étaient en réalité négatifs.
Rappel : Tous les échantillons positifs sont correctement classifiés.
Prenons l'exemple d'un système de présélection de CV pour des entretiens. Une prédiction positive signifie que le candidat devrait être invité à un entretien.
Pour le Rappel, peu importe si le modèle sélectionne quelques candidats non compétents.
Analogie du Rappel (recall) : L'objectif est de classifier correctement tous les échantillons positifs.
Mais il ne doit manquer aucun candidat compétent.
Donc, même si ce système affirmait que tous les candidats (bons ou mauvais) sont aptes à un entretien, cela te donnerait un Rappel de 100 %.
Car il n'a oublié aucun des échantillons positifs.
Le choix de la métrique à privilégier dépend entièrement de ce qui est important pour le problème à résoudre :
Optimise la PRÉCISION si :
Tu ne veux obtenir QUE des prédictions positives de grande qualité.
Cela ne te dérange pas que certains échantillons de qualité (ou positifs) soient omis.
Optimise le RAPPEL si :
Tu veux identifier TOUS les échantillons de qualité (ou positifs).
Cela ne te dérange pas si quelques échantillons de moindre qualité (ou négatifs) se glissent dans le lot.
J'espère que ce mail t’a été utile :)
Envie d'aller plus loin ? DataXp t'attend : formations et parcours pour progresser en data science, machine learning et IA.
👉🏼 À toi de jouer : Quelle analogie (ou moyen mnémotechnique) utilises-tu pour comprendre la Précision et le Rappel ?
D'autres questions sur ce sujet ? N'hésite pas 🙂
