En cuanto un conjunto supera unos cientos de miles de filas, las hojas de cálculo se arrastran y se cuelgan. Procesar un millón de filas o más de forma fiable necesita las herramientas adecuadas y un pipeline capaz de reanudar tras un fallo en vez de empezar de cero.
Por qué las hojas de cálculo dejan de servir
Las hojas cargan todo en memoria y recalculan sin parar. A escala se arrastran, chocan con límites de filas, y una fórmula mal puesta puede corromperlo todo. Geniales para miles de filas, inútiles para millones.
Qué usamos en su lugar
- Python con Pandas para transformación flexible.
- DuckDB para consultas analíticas rápidas sobre archivos grandes.
- PostgreSQL para almacenamiento y consultas estructuradas.
- Procesamiento por lotes con seguimiento de progreso, para que un fallo no cueste una repetición completa.
Hazlo reanudable: un proceso sobre millones de filas acabará topándose con un registro malo o un timeout. Un pipeline con puntos de control convierte un desastre en un encogimiento de hombros.
Tareas típicas a esta escala
Deduplicar y limpiar listas de CRM o leads, migrar datos entre sistemas, informes de marketing recurrentes y analítica de e-commerce. El pipeline que lo hace bien es el mismo de nuestra guía de ETL — solo construido para el volumen.