Zodra een dataset enkele honderdduizenden rijen passeert, kruipen en crashen spreadsheets. Een miljoen rijen of meer betrouwbaar verwerken vraagt de juiste tools en een pijplijn die na een storing hervat in plaats van opnieuw begint.
Waarom spreadsheets ophouden te werken
Spreadsheets laden alles in het geheugen en herberekenen constant. Op schaal kruipen ze, lopen ze tegen rijlimieten aan, en één foute formule kan alles bederven. Geweldig voor duizenden rijen, hopeloos voor miljoenen.
Wat we in plaats daarvan gebruiken
- Python met Pandas voor flexibele transformatie.
- DuckDB voor snelle analytische queries op grote bestanden.
- PostgreSQL voor opslag en gestructureerde queries.
- Batchverwerking met voortgangsregistratie, zodat een storing geen volledige herstart kost.
Maak het hervatbaar: een verwerking over miljoenen rijen stuit vroeg of laat op een slecht record of een time-out. Een pijplijn met checkpoints maakt van een ramp een schouderophalen.
Typische taken op deze schaal
CRM- of leadlijsten ontdubbelen en schonen, data tussen systemen migreren, terugkerende marketingrapporten en e-commerce-analytics. De pijplijn die het netjes doet is dezelfde als in onze ETL-gids — alleen gebouwd voor volume.