GitHub n'est pas idéal pour les projets ML.
Le problème, c'est que Git est conçu pour versionner du code, principalement composé de fichiers légers.

Dans les projets logiciels collaboratifs, GitHub nous permet de maintenir une source de vérité unique pour les dépôts Git locaux.
Mais les projets ML ne se résument pas à du code, n'est-ce pas ?
Ils impliquent aussi de gros fichiers de données, et d'une expérimentation à l'autre, ces datasets peuvent varier considérablement.
Pour garantir une vraie reproductibilité et une traçabilité correcte des expériences, il devient nécessaire de versionner les données elles-mêmes.

Or, versionner ces gigaoctets de datasets est pratiquement impossible avec GitHub, car il impose une limite supérieure sur la taille des fichiers qu'on peut pousser vers ses dépôts distants.

Alors, quelle est la solution ?
Le Data Version Control.
L'idée centrale : intégrer un second système de versionnage à Git, dédié spécifiquement aux fichiers volumineux.
Pour t'aider à monter en compétence et livrer de vrais projets data à grande échelle, c'est exactement le sujet que l'on couvre dans le deep dive ML du Cercle des Experts :
À mesure qu'on s'attaque à des projets data réels, le data version control devient incontournable.
De nombreuses équipes data l'utilisent activement.
Apprendre et utiliser cette compétence m'a été très utile pour construire des modèles ML fiables à grande échelle.
Si tu envisages de faire pareil, apprendre le data version control sera un investissement extrêmement précieux.
👉 Les curieux peuvent le lire ici : Tu ne peux pas construire de grands projets data sans apprendre le data version control !
Envie d'aller plus loin ? DataXp t'attend : formations et parcours pour progresser en data science, machine learning et IA.


