Assim que um conjunto ultrapassa algumas centenas de milhares de linhas, as folhas de cálculo arrastam-se e bloqueiam. Processar um milhão de linhas ou mais de forma fiável exige as ferramentas certas e um pipeline capaz de retomar após uma falha em vez de recomeçar.
Porque as folhas de cálculo deixam de servir
As folhas carregam tudo na memória e recalculam constantemente. Em escala arrastam-se, batem em limites de linhas, e uma fórmula errada pode corromper tudo. Ótimas para milhares de linhas, sem esperança para milhões.
O que usamos em vez disso
- Python com Pandas para transformação flexível.
- DuckDB para consultas analíticas rápidas em ficheiros grandes.
- PostgreSQL para armazenamento e consultas estruturadas.
- Processamento em lote com acompanhamento de progresso, para que uma falha não custe uma reexecução completa.
Torne-o retomável: um processamento sobre milhões de linhas vai mais cedo ou mais tarde topar com um registo defeituoso ou um timeout. Um pipeline com pontos de controlo transforma um desastre num encolher de ombros.
Tarefas típicas a esta escala
Desduplicar e limpar listas de CRM ou de leads, migrar dados entre sistemas, relatórios de marketing recorrentes e analytics de e-commerce. O pipeline que o faz bem é o mesmo do nosso guia de ETL — só construído para o volume.