Dans de nombreuses situations, les données sont souvent divisées en plusieurs fichiers CSV et transférées à l'équipe DS/ML pour utilisation.
Comme Pandas ne prend pas en charge la parallélisation, il faut itérer sur la liste des fichiers et les lire un par un pour un traitement ultérieur.
La fonction "Datatable" peut apporter une solution rapide à ce problème. Au lieu de les lire de manière itérative avec Pandas, tu peux utiliser Datatable pour lire un ensemble de fichiers. Comme c’est parallélisé, cela offre un gain de performance significatif par rapport à Pandas.
Le gain de performance n'est pas seulement limité aux I/O (Input/Output), mais il est également observé dans de nombreuses autres opérations tabulaires.
Plus d'informations ici : documentation DataTable.
Envie d'aller plus loin ? DataXp t'attend : formations et parcours pour progresser en data science, machine learning et IA.
