MINI-COURS #27 ⏱️ 19 – 23 minutes de lecture
🔒 Contenu réservé aux membres du Cercle des Experts
Débloque la leçon complète et tous les autres mini-cours.
Au programme
Le problème
Les architectures de réseaux de neurones que nous concevons aujourd'hui sont indéniablement beaucoup plus précises qu'elles ne l'ont jamais été dans toute leur histoire.

Cependant, de nombreuses expériences ont révélé que les réseaux de neurones modernes ne sont plus bien calibrés.
Pour faire simple, un modèle est parfaitement calibré si les probabilités de prédiction correspondent étroitement aux résultats réels. Si un modèle prédit un événement avec une probabilité de 70 %, alors idéalement, sur 100 prédictions de ce type, l'événement devrait se produire environ 70 fois.
Par exemple, supposons que sur plusieurs jours (consécutifs ou non), un modèle ait prédit 50 % de chances de pluie. Pour mesurer si ces prédictions sont bien calibrées, il faudrait calculer à quelle fréquence il a réellement plu.
Si, sur le long terme, il a effectivement plu environ 50 % du temps, cela signifie que les prédictions (ou prévisions) du modèle étaient bien calibrées. En revanche, s'il n'a plu que 25 % ou, disons, 70 % du temps, le modèle était mal calibré.

Bien que la calibration semble être une propriété évidente, et peut-être même triviale, que tous les réseaux devraient implicitement posséder, de nombreuses études ont montré que les réseaux de neurones modernes semblent avoir perdu cette capacité. Par conséquent, ils ont tendance à être trop confiants (sur-confiants) dans leurs prédictions.
Par exemple, observons le graphique suivant, qui compare un modèle LeNet (développé en 1998) avec un modèle ResNet (développé en 2016) sur le jeu de données CIFAR-100.

Sur ce graphique, la confiance (confidence) moyenne est déterminée en utilisant l'étiquette (label) ayant la probabilité softmax la plus élevée, sur l'ensemble des échantillons du dataset
D'après le graphique ci-dessus, il est clair que :
La confiance moyenne de LeNet (l'ancien modèle) correspond étroitement à son exactitude (accuracy).
À l'inverse, la confiance moyenne du ResNet (le modèle plus moderne) est nettement supérieure à son exactitude.
Ainsi, nous pouvons constater que le modèle LeNet est bien calibré, car sa confiance s'aligne presque parfaitement sur l'exactitude attendue. En revanche, bien que l'exactitude du ResNet soit meilleure (0,7 > 0,5), celle-ci ne correspond pas du tout à son niveau de confiance.
Autrement dit, cela signifie que le modèle ResNet, bien qu'il soit globalement plus performant, est trop confiant dans ses prédictions. Alors que la confiance moyenne de LeNet s'aligne bien sur ses performances réelles (indiquant une bonne calibration), la confiance excessive de ResNet montre qu'il prédit souvent des résultats avec une certitude bien plus grande que ce qui est justifié.
Pourquoi la calibration est-elle importante ?
Une question qui revient souvent à ce stade est la suivante :
Pourquoi se soucier de calibrer les modèles, en particulier lorsque nous sommes capables de construire des systèmes plus précis ?
La motivation est assez similaire à celle que nous avons abordée dans notre exploration approfondie sur la prédiction conforme, disponible ici :
Faire aveuglément confiance aux prédictions d'un modèle ML peut parfois être fatal, surtout dans des environnements à enjeux élevés où les décisions fondées sur ces algorithmes peuvent affecter des vies humaines, la stabilité financière ou des infrastructures critiques.
Bien qu'une précision de "95 %" soit excellente sur le papier, le modèle ne te dira jamais quelles sont les 5 % de prédictions incorrectes lorsqu'il sera utilisé en production sur de nouvelles tâches.
En d'autres termes, bien que nous sachions que les prédictions du modèle sont globalement correctes un certain pourcentage du temps, le modèle ne peut généralement pas nous dire grand-chose sur la fiabilité d'une prédiction spécifique.

Par conséquent, dans des situations à haut risque comme les diagnostics médicaux, faire aveuglément confiance à chaque prédiction peut avoir de graves conséquences.
Pour atténuer ces risques, il est donc essentiel de ne pas s'appuyer uniquement sur la prédiction brute, mais aussi de comprendre et de quantifier l'incertitude qui y est associée.

Mais étant donné que les modèles modernes se révèlent souvent trop confiants dans leurs prédictions (comme nous l'avons vu plus haut), il est crucial de s'assurer que notre modèle ne fait pas partie du lot.
Une telle sur-confiance pose problème, particulièrement dans les applications où les probabilités prédites sont utilisées pour prendre des décisions critiques.
Reprenons l'exemple du diagnostic médical automatisé. Dans un tel cas, le contrôle devrait être transféré à des médecins humains lorsque la confiance d'un réseau diagnostiquant une maladie est jugée trop faible.
Plus précisément, un réseau devrait fournir une mesure de confiance calibrée en plus de sa prédiction. Autrement dit, la probabilité associée à la classe prédite devrait refléter sa probabilité réelle d'être correcte.
Et il ne s'agit pas seulement de communiquer la véritable confiance. Des estimations de confiance calibrées sont également cruciales pour l'interprétabilité du modèle.
Les humains ont une intuition cognitive naturelle face aux probabilités. De bonnes estimations de confiance fournissent une information supplémentaire précieuse pour instaurer un climat de confiance avec l'utilisateur – particulièrement avec les réseaux de neurones, dont les décisions de classification sont souvent difficiles à interpréter.
Si nous n'avons aucun moyen de véritablement comprendre la confiance d'un modèle, alors une prédiction exacte et une simple supposition aléatoire peuvent sembler identiques.
💡 Ceci est particulièrement important à l'ère actuelle où le ML se démocratise de plus en plus. Tout le monde n'est pas en mesure d'inspecter l'intérieur des modèles ML (médecins, professionnels de la finance, etc.). Fournir un moyen clair et accessible pour les profanes de communiquer le risque lié à une prédiction est donc primordial.
Enfin, dans de nombreux systèmes complexes, les modèles de machine learning dépendent les uns des autres et interagissent entre eux. Des classifieurs individuels servent souvent de données d'entrée (inputs) à des systèmes plus vastes qui prennent les décisions finales.
Si les modèles sont calibrés, cela simplifie considérablement ces interactions. La calibration permet à chaque modèle de se concentrer sur l'estimation la plus précise possible de ses propres probabilités. Et comme l'interprétation reste stable, les autres composants du système n'ont pas besoin d'être modifiés à chaque fois que les modèles changent.
En aparté, la calibration de modèle peut également fonctionner au niveau conditionnel. Par exemple, dans notre précédent cas de prévisions météorologiques, nous n'avons mesuré la calibration qu'en fonction de la probabilité prédite par le modèle et de la confirmation (ou non) de cette probabilité sur le long terme dans la réalité. C'est ce qui est illustré ci-dessous :

Cependant, un modèle calibré pourrait aussi impliquer des probabilités conditionnelles.
Autrement dit, alors que le modèle ci-dessus prédisait la pluie pour un jour précis de manière isolée, il est logique de s'attendre à ce que la probabilité de pluie soit généralement plus élevée s'il a également plu la veille.
Ainsi, un modèle qui prend en compte la météo de la veille et prédit Pr(Pluie|Pluie_Hier = 1 ) = 0.7 et Pr(Pluie|Pluie_Hier = 0 ) = 0.3 peut être un modèle parfaitement calibré (et bien plus utile), à condition que ces probabilités correspondent aux observations réelles.
Revenons à notre sujet...
L'objectif de ce mini-cours en deux parties est multiple :
Comprendre pourquoi les réseaux de neurones actuels sont devenus plus mal calibrés que ceux produits il y a des années.
Formuler le concept exact de la mauvaise calibration (dé-calibration) des modèles.
Définir des techniques pour mesurer l'étendue de cette mauvaise calibration.
Découvrir les méthodes qui peuvent nous aider à la réduire, voire à l'éliminer.
Et bien plus encore.
En plus de cela, nous partagerons également quelques perspectives et intuitions sur les techniques d'entraînement et les architectures qui peuvent être à l'origine de ce défaut de calibration.
💡 En continuant, tu vas découvrir :
La définition mathématique d'une calibration parfaite et comment lire un diagramme de fiabilité pour repérer d'un coup d'œil un modèle trop confiant
Comment calculer l'ECE et le MCE, avec un exemple chiffré sur 10 échantillons et une implémentation en Python et NumPy
Pourquoi les réseaux récents sont plus mal calibrés que LeNet : l'effet de la taille des modèles et de la normalisation par lots sur la confiance des prédictions
Comment la régularisation L2 améliore la calibration en lissant la frontière de décision du modèle
La suite de ce mini-cours est réservée aux membres du Cercle des Experts.
Tu as déjà le début. Pour accéder à l’explication complète et aux autres mini-cours, rejoins le Cercle des Experts.
Rejoindre le Cercle des ExpertsDéjà abonné(e) ? Se connecter
En devenant membre, tu débloques :
- L’intégralité de ce mini-cours, sans coupure
- Tous les mini-cours et les ressources associées
- Chaque nouveau mini-cours dès sa sortie

