Dès qu'un jeu de données dépasse quelques centaines de milliers de lignes, les tableurs rament et plantent. Traiter un million de lignes ou plus de façon fiable demande les bons outils et un pipeline capable de reprendre après une panne au lieu de tout recommencer.
Pourquoi les tableurs cessent de fonctionner
Les tableurs chargent tout en mémoire et recalculent en permanence. À l'échelle, ils rament, atteignent des limites de lignes, et une mauvaise formule peut tout corrompre. Parfaits pour des milliers de lignes, désespérants pour des millions.
Ce que nous utilisons à la place
- Python avec Pandas pour une transformation souple.
- DuckDB pour des requêtes analytiques rapides sur de gros fichiers.
- PostgreSQL pour le stockage et les requêtes structurées.
- Un traitement par lots avec suivi de progression, pour qu'une panne ne coûte pas une relance complète.
Les tâches typiques à cette échelle
Dédoublonner et nettoyer des listes CRM ou de prospects, migrer des données entre systèmes, des rapports marketing récurrents et l'analytics e-commerce. Le pipeline qui le fait proprement est le même que dans notre guide ETL — juste bâti pour le volume.