PyTorch est la bibliothèque la plus populaire pour entraîner des modèles de deep learning, que ce soit sur CPU ou sur GPU.
Pourtant, malgré cette popularité, beaucoup d'utilisateurs PyTorch ne créent pas leurs tenseurs de façon optimale, notamment quand ils utilisent un GPU pour l'entraînement.
Résultat : la consommation mémoire explose, et l'entraînement plante.
Concrètement, la plupart des utilisateurs créent un tenseur PyTorch sur GPU comme ça :

Le problème, c'est que cette approche commence par créer le tenseur sur le CPU, puis PyTorch le transfère vers le GPU.

C'est lent, parce qu'on crée un tenseur sur le CPU sans aucune raison. Et en plus, ça augmente la consommation mémoire.
La bonne approche, c'est de créer le tenseur directement sur le GPU :

Comme ça, on évite complètement la création d'un tenseur intermédiaire sur le CPU.
L'efficacité parle d'elle-même avec cette comparaison des temps d'exécution :

Tu pourrais objecter que le temps d'exécution de l'approche CPU→GPU reste minuscule (en millisecondes), et que ça ne change pas grand-chose.
Mais un modèle peut avoir besoin de créer des millions de tenseurs sur GPU pendant l'entraînement, notamment ceux liés aux données.
Cette différence s'accumule donc très vite.
Et ce n'est pas qu'une question de vitesse.
L'approche CPU→GPU introduit aussi des surcoûts mémoire qui auraient pu être complètement évités.
Je me souviens très bien d'un étudiant que j'accompagnais, qui avait commis exactement cette erreur.
Son entraînement échouait, et il n'arrivait pas à identifier la cause. À l'époque, je n'en étais pas encore conscient moi-même.
C'est finalement un profiling mémoire qui a révélé la source du problème.
Le point clé : cette erreur peut être l'une de ces raisons cachées qui font planter un entraînement. Et si tu n'en es pas conscient, tu ne la détecteras jamais.
Quand tu entraînes un modèle gourmand en mémoire, chaque mégaoctet compte, et ça vaut vraiment la peine de se battre pour en économiser quelques-uns.
Alors, est-ce la seule façon d'optimiser un réseau de neurones ?
Bien sûr que non !
On a déjà abordé d'autres techniques ici :
Il existe aussi un deep dive complet qui couvre 4 autres techniques activement utilisées dans l'industrie pour optimiser les modèles de deep learning :
Envie d'aller plus loin ? DataXp t'attend : formations et parcours pour progresser en data science, machine learning et IA.
👉 À toi de jouer : quelles autres techniques utilises-tu pour optimiser l'entraînement de tes réseaux de neurones ?




