Maîtriser l'incertitude en Machine Learning avec la Prédiction Conforme

Faire aveuglément confiance aux prédictions d'un modèle ML peut parfois s'avérer fatal, en particulier dans des environnements à forts enjeux où les décisions basées sur ces prédictions peuvent affecter des vies humaines, la stabilité financière ou des infrastructures critiques.

Bien qu'une précision de "95%" soit rassurante sur le papier, le modèle ne te dira jamais quels sont les 5% de prédictions spécifiques qui sont incorrectes lorsqu'il est utilisé dans des tâches en aval.

Autrement dit, même si nous savons que les prédictions du modèle sont globalement correctes un certain pourcentage du temps, le modèle est généralement incapable de nous en dire beaucoup sur une prédiction spécifique.

Par conséquent, dans des situations à haut risque comme les diagnostics médicaux, faire aveuglément confiance à chaque prédiction peut avoir des conséquences graves sur la santé du patient.

De même, en finance, une seule prédiction erronée pourrait entraîner des pertes monétaires substantielles ou des stratégies d'investissement malavisées.

Ainsi, pour atténuer ces risques, il est essentiel de ne pas se fier uniquement aux prédictions brutes, mais aussi de comprendre et de quantifier l'incertitude qui y est associée.

Si nous n'avons aucun moyen d'évaluer la confiance du modèle, alors une prédiction très précise et une simple devinette peuvent sembler identiques.

💡 C'est d'autant plus important à notre époque où le ML se démocratise de plus en plus. Tout le monde n'est pas en mesure d'inspecter l'intérieur des modèles ML, comme le font les ingénieurs. C'est le cas des médecins ou des professionnels de la finance. Fournir un moyen pratique (et vulgarisé) de communiquer le risque associé à une prédiction est donc crucial.

Développons un peu plus cette idée et voyons pourquoi nous avons besoin d'intervalles de prédiction pour des modèles complexes comme les réseaux de neurones.

Pour commencer, nous savons que ces modèles seront très probablement utilisés dans des processus de prise de décision en aval.

Par exemple, si tu es médecin et que tu reçois l'analyse d'une IRM, une sortie du modèle suggérant que la personne est en bonne santé et n'a besoin d'aucun traitement ne te sera probablement pas d'une grande utilité.

C'est parce que le travail d'un médecin consiste à poser un diagnostic différentiel. Ainsi, ce qui l'intéresse vraiment, c'est de savoir s'il y a 10% de chances que cette personne ait un cancer, en se basant sur cette IRM.

Une autre chose bien plus utile serait d'obtenir un ensemble de prédictions, c'est-à-dire un groupe de diagnostics garantis avec une forte probabilité.

Par exemple, cet ensemble de prédictions pourrait indiquer qu'il y a 90% de probabilité que le véritable diagnostic soit contenu dans cet ensemble.

Si la sortie se présente sous cette forme, le médecin peut l'intégrer dans son processus clinique et écarter méthodiquement certains diagnostics.

Les prédictions conformes, également connues sous le nom d'inférence conforme, fournissent un cadre pour générer des intervalles ou des ensembles de prédictions assortis de solides garanties statistiques.

Ce qui distingue la prédiction conforme, c'est sa nature indépendante de la distribution, ce qui signifie qu'elle ne repose sur aucune hypothèse concernant la distribution sous-jacente des données ou le modèle spécifique utilisé.

De plus, elle ne nécessite aucun entraînement supplémentaire. L'ensemble du modèle peut être considéré comme une boîte noire et tout de même être utilisé pour formuler des prédictions conformes.

Grâce à cette caractéristique, l'intégration de la prédiction conforme à n'importe quel modèle de Machine Learning pré-entraîné permet aux praticiens de transformer des prédictions ponctuelles en intervalles ou en ensembles qui sont (presque) garantis de contenir le véritable résultat avec une probabilité définie par l'utilisateur.

Par exemple, dans une tâche de classification comme un diagnostic médical, l'approche traditionnelle produirait une seule étiquette de classe. Cette prédiction ponctuelle ne laisse aucune place pour évaluer la confiance dans la prédiction ou pour envisager d'autres diagnostics plausibles.

À l'inverse, une approche de prédiction conforme générera un ensemble de diagnostics possibles, garantissant que le diagnostic correct est inclus dans cet ensemble avec un niveau de confiance spécifié, tel que 95%.

Par exemple, au lieu de prédire simplement la "maladie A" avec une probabilité de 95%, un prédicteur conforme pourrait renvoyer un ensemble incluant la "maladie A" et la "maladie B", garantissant que le bon diagnostic se trouve dans cet ensemble 95% du temps.

Ce n'est pas grave si tout n'est pas encore parfaitement clair pour toi, car nous allons détailler tout cela dans la section suivante.

Plus spécifiquement, dans les sections suivantes :

Commençons !

Prenons un exemple : nous avons un dataset d'images classifiées en K catégories :

Dans les prédictions conformes, un nouvel ensemble, appelé "ensemble de calibration", est extrait des données d'entraînement. Il n'est pas nécessaire qu'il soit très grand. Par exemple, dans le cas d'un dataset de 60 000 images, il serait tout à fait acceptable d'isoler seulement 500 à 750 images pour constituer cet ensemble de calibration :

Pour faire simple, imagine également que nous avons déjà entraîné un modèle sur le jeu de données d'entraînement ci-dessus, disons un réseau de neurones :

Mathématiquement, ce modèle peut être noté de la manière suivante :

Ainsi, f_y(x) est l'approximation par le modèle de la véritable probabilité conditionnelle sous-jacente P[Y = y|X = x]. L'objectif du modèle est d'estimer cette probabilité avec précision, permettant ainsi des prédictions fiables et une quantification de l'incertitude.

Une fois le modèle entraîné, notre but est de prendre un nouvel exemple quelconque X' (disons que le modèle est utilisé dans une application en aval, l'étiquette est donc inconnue) et de générer un ensemble de prédictions ϕ(X′) de telle sorte qu'il contienne la véritable classe Y' avec une forte probabilité.

💡 En continuant, tu vas découvrir :