C'est bien connu : plus on augmente le nombre de paramètres d'un modèle, plus il a tendance à faire de l'overfitting.
Prends par exemple une régression polynomiale entraînée sur ce dataset fictif :

age
Au cas où, voilà à quoi ressemble une régression polynomiale :

Quand on augmente le degré (m) et qu'on entraîne le modèle, voilà ce qui est attendu :
La loss d'entraînement se rapproche de plus en plus de zéro.
La loss de test (ou de validation) baisse d'abord, puis grimpe de plus en plus.
C'est logique : avec un degré élevé, le modèle arrive plus facilement à contorsionner sa courbe pour passer par chaque point d'entraînement.
Le graphique de loss ci-dessous le confirme :

Mais regarde ce qui se passe quand on continue d'augmenter le degré (m) :

Étrange, non ?
Pourquoi la loss de test augmente jusqu'à un certain point, puis redescend ?
Tu ne t'y attendais pas, hein ?
Eh bien, ce que tu vois s'appelle le "double descent" (double descente). C'est un phénomène très courant dans de nombreux modèles de ML, surtout en deep learning.
Il montre que, de façon contre-intuitive, augmenter la complexité du modèle au-delà du point d'interpolation peut améliorer la généralisation.
Cette idée est d'ailleurs au cœur de la raison pour laquelle les LLM, pourtant gigantesques (des milliards, voire des milliers de milliards de paramètres), arrivent malgré tout à bien généraliser.
Et c'est difficile à accepter, parce que ce phénomène remet directement en cause le bias-variance trade-off (compromis biais-variance) qu'on apprend dans n'importe quel cours d'intro au ML :

Autrement dit, entraîner de très gros modèles, même avec plus de paramètres que de points d'entraînement, peut quand même donner une bonne généralisation.
À ma connaissance, la question reste ouverte, et on ne sait pas vraiment pourquoi les réseaux de neurones se comportent ainsi.
Il existe quand même des pistes autour de la régularisation, comme celle-ci :
Le modèle appliquerait une forme de régularisation implicite, qui lui permettrait de se concentrer précisément sur le bon nombre de paramètres pour généraliser.
Mais soyons honnêtes, rien n'est clair pour l'instant.
👉 À toi de jouer : j'aimerais savoir ce que tu penses de ce phénomène et de ses causes possibles.
Envie d'aller plus loin ? DataXp t'attend : formations et parcours pour progresser en data science, machine learning et IA.

