Appena un dataset supera qualche centinaio di migliaia di righe, i fogli di calcolo rallentano e si bloccano. Elaborare un milione di righe o più in modo affidabile richiede gli strumenti giusti e una pipeline capace di riprendere dopo un guasto invece di ricominciare.
Perché i fogli di calcolo smettono di funzionare
I fogli caricano tutto in memoria e ricalcolano di continuo. Su larga scala rallentano, sbattono contro i limiti di righe, e una formula sbagliata può corrompere tutto. Ottimi per migliaia di righe, senza speranza per milioni.
Cosa usiamo invece
- Python con Pandas per trasformazioni flessibili.
- DuckDB per query analitiche veloci su file grandi.
- PostgreSQL per archiviazione e query strutturate.
- Elaborazione a lotti con tracciamento del progresso, così un guasto non costa un'esecuzione completa.
Rendila ripristinabile: un'elaborazione su milioni di righe prima o poi incontrerà un record difettoso o un timeout. Una pipeline con checkpoint trasforma un disastro in un'alzata di spalle.
Compiti tipici a questa scala
Deduplicare e pulire liste CRM o di lead, migrare dati tra sistemi, report di marketing ricorrenti e analytics e-commerce. La pipeline che lo fa bene è la stessa della nostra guida ETL — solo costruita per il volume.