Journal csvfab, un éditeur CSV libre pour les gros fichiers

Bonjour Nal,

Je travaille régulièrement avec des exports CSV volumineux (fichiers clients, exports de CRM), et les tableurs montrent vite leurs limites : Excel et LibreOffice Calc s'arrêtent à 1 048 576 lignes. J'ai donc écrit csvfab, un éditeur libre dédié aux fichiers CSV.

Le principe : on ouvre le fichier, on filtre, on trie, on corrige, puis on enregistre directement par-dessus, sans import ni conversion. Un fichier de 5 millions de lignes (770 Mo) s'ouvre en moins de 3 secondes, et un tri prend environ 2 secondes.

J'ai été particulièrement attentif à l'intégrité des données : enregistrer un fichier sans le modifier redonne exactement les mêmes octets, et la modification d'une cellule ne change que sa ligne dans le fichier.

On y trouve aussi des outils de nettoyage courants : réparation des accents cassés (les fameux é), suppression des doublons, retrait de mots parasites comme « SARL » ou « Monsieur », mise au même format des dates et des numéros de téléphone.

Techniquement, il s'agit d'un petit serveur Python (bibliothèque standard uniquement) et d'une fenêtre Chromium. Le logiciel est sous licence MIT et fonctionne sous Linux, macOS et Windows.

Pour que les chiffres soient vérifiables, le dépôt contient un script de benchmark : il génère les fichiers de test, effectue les mêmes opérations et contrôle les résultats. Chacun peut le lancer sur sa machine.

Le code : https://github.com/fabiochelly/csvfab
Une démonstration d'une minute : https://youtu.be/4sEEdzOZrWk

Enfin, j'ai beaucoup travaillé pour qu'il accepte tous les fichiers, même mal formés (guillemets non fermés, lignes de longueurs différentes, fins de ligne ou encodages mélangés), sans abîmer les parties incorrectes : elles sont signalées et restent telles quelles à l'enregistrement. Si vous avez des CSV tordus sous la main, je suis preneur : c'est la meilleure façon de le mettre à l'épreuve.