Un CSV de plusieurs millions de lignes contient des dates écrites de différentes façons, des catégories presque identiques ou des codes qui ne suivent pas tous le même format. Il est impossible de relire chaque ligne à la main. Une méthode en trois temps suffit pour préparer des corrections avec l’IA et vérifier leur effet.
Extraire un rapport détaillé
Commencez par décrire le fichier entier. Tabalyst Report prépare une vue pour vous et des données structurées pour l’IA.
Installez Tabalyst, puis lancez une seule commande sur le CSV d’origine :
pip install --upgrade tabalyst
tabalyst report donnees.csvTabalyst Report lit le CSV en flux. Les deux fichiers utiles ici sont donnees.html et donnees.json, créés près du CSV. Ouvrez le HTML pour voir les colonnes, les distributions, les formats et les signaux de qualité. Le JSON contient les résultats structurés et des exemples bornés, sans recopier des millions de lignes. C’est ce rapport JSON complet que vous pouvez remettre à l’IA.
Repérez notamment les catégories proches, les formats incohérents et les valeurs manquantes. Le rapport donne une base de travail, mais un signal statistique ne prouve pas à lui seul qu’une valeur est une erreur.
Demander à l’IA quelles corrections automatiser
L’IA prépare des propositions. Vous choisissez les règles qui ont un sens pour vos données.
Donnez-lui le rapport JSON complet et demandez des corrections concrètes : variantes d’une même catégorie comme « Quebec » et « Québec », formats de date mélangés, unités non constantes ou codes postaux aux motifs différents. Pour chaque proposition, elle doit préciser les valeurs concernées, l’effet attendu et les cas ambigus à laisser de côté.
Voici [le rapport JSON complet] de mon CSV. Identifie les corrections qui pourraient être automatisées. Pour chacune, indique la colonne, les valeurs ou formats concernés, la règle proposée et les risques d’ambiguïté. Distingue les faits du rapport de tes hypothèses. Classe les propositions à valider avant tout changement.
Une variante d’écriture peut être une erreur, ou une distinction voulue. Une date comme 03/04/2026 peut désigner deux jours différents selon la convention utilisée. Validez les correspondances avec vos règles métier. Écartez les cas que le rapport ne permet pas de trancher.
Faire écrire le script Python, puis l’exécuter
Une fois les règles approuvées, demandez un script qui traite le CSV en flux et écrit un nouveau fichier. Gardez l’original intact.
Transmettez uniquement les corrections validées. Le script doit appliquer ces règles précises, conserver les colonnes et le nombre d’enregistrements, écrire donnees_corrigees.csv et compter les modifications par règle. Pour plusieurs millions de lignes, demandez une lecture progressive du CSV plutôt que son chargement complet en mémoire.
Voici [les règles de correction que j’ai validées]. Écris un script Python pour traiter donnees.csv en flux. Écris le résultat dans donnees_corrigees.csv sans modifier le fichier source. Ne change aucune autre valeur. Compte les changements par règle et signale les cas ambigus sans les corriger automatiquement.
Relisez les règles dans le code, essayez le script sur un petit extrait, puis exécutez-le sur le fichier complet. Les comptes de modifications donnent une première vérification : ils doivent correspondre à ce que vous aviez décidé de corriger.
Contrôle final : comparer avant et après
La correction n’est terminée que lorsque ses effets sont visibles. Produisez un rapport sur le nouveau CSV et comparez-le au rapport initial.
tabalyst report donnees_corrigees.csvVous obtenez donnees_corrigees.html et donnees_corrigees.json. Comparez les deux rapports HTML pour voir si les variantes visées ont disparu et si les distributions ont évolué comme prévu. Donnez aussi les deux profils JSON à l’IA pour qu’elle relève les différences : nombre de lignes, colonnes, valeurs manquantes, catégories, formats et nouveaux signaux éventuels.
Voici [le rapport JSON avant] et [le rapport JSON après]. Compare-les pour les corrections que j’ai validées. Quelles différences confirment l’effet attendu ? Quels changements inattendus ou limites dois-je vérifier ? Sépare les faits mesurés de tes interprétations.
Si le nombre de lignes ou les colonnes changent sans raison, si une catégorie disparaît alors qu’elle devait rester, ou si un nouveau motif suspect apparaît, revenez au script et aux règles. Le rapport confirme des évolutions mesurables ; la décision finale dépend aussi du sens métier des données.