GitHub n'est pas idéal pour les projets ML.

Le problème, c'est que Git est conçu pour versionner du code, principalement composé de fichiers légers.

Schéma illustrant que Git est conçu pour versionner du code composé de fichiers légers

Dans les projets logiciels collaboratifs, GitHub nous permet de maintenir une source de vérité unique pour les dépôts Git locaux.

Mais les projets ML ne se résument pas à du code, n'est-ce pas ?

Ils impliquent aussi de gros fichiers de données, et d'une expérimentation à l'autre, ces datasets peuvent varier considérablement.

Pour garantir une vraie reproductibilité et une traçabilité correcte des expériences, il devient nécessaire de versionner les données elles-mêmes.

Répertoire local d'un projet ML avec du code et des datasets volumineux à versionner

Or, versionner ces gigaoctets de datasets est pratiquement impossible avec GitHub, car il impose une limite supérieure sur la taille des fichiers qu'on peut pousser vers ses dépôts distants.

Impossible de versionner de gros datasets avec GitHub, qui limite la taille des fichiers poussés

Alors, quelle est la solution ?

Le Data Version Control.

L'idée centrale : intégrer un second système de versionnage à Git, dédié spécifiquement aux fichiers volumineux.

Pour t'aider à monter en compétence et livrer de vrais projets data à grande échelle, c'est exactement le sujet que l'on couvre dans le deep dive ML du Cercle des Experts :

À mesure qu'on s'attaque à des projets data réels, le data version control devient incontournable.

De nombreuses équipes data l'utilisent activement.

Apprendre et utiliser cette compétence m'a été très utile pour construire des modèles ML fiables à grande échelle.

Si tu envisages de faire pareil, apprendre le data version control sera un investissement extrêmement précieux.

Envie d'aller plus loin ? DataXp t'attend : formations et parcours pour progresser en data science, machine learning et IA.


Commentaires

Avatar

ou participer

À lire ensuite

Des shots dans la même veine, à lire entre deux tâches.

Voir tous les shots
caret-right