Sobald ein Datensatz einige Hunderttausend Zeilen übersteigt, kriechen und stürzen Tabellen. Eine Million Zeilen oder mehr zuverlässig zu verarbeiten braucht die richtigen Werkzeuge und eine Pipeline, die nach einem Fehler fortsetzt, statt neu zu beginnen.
Warum Tabellen aufhören zu funktionieren
Tabellen laden alles in den Speicher und rechnen ständig neu. Im großen Maßstab kriechen sie, stoßen an Zeilengrenzen, und eine falsche Formel kann alles verderben. Sie sind großartig für Tausende Zeilen, hoffnungslos für Millionen.
Was wir stattdessen nutzen
- Python mit Pandas für flexible Transformation.
- DuckDB für schnelle analytische Abfragen auf großen Dateien.
- PostgreSQL für Speicherung und strukturierte Abfragen.
- Batch-Verarbeitung mit Fortschrittsverfolgung, sodass ein Fehler keinen kompletten Neulauf kostet.
Fortsetzbar machen: Ein Job über Millionen Zeilen trifft irgendwann auf einen schlechten Datensatz oder ein Timeout. Eine Pipeline mit Checkpoints und Fortsetzung macht aus einer Katastrophe ein Achselzucken.
Typische Aufgaben in dieser Größe
CRM- oder Lead-Listen entdoppeln und bereinigen, Daten zwischen Systemen migrieren, wiederkehrende Marketing-Berichte und E-Commerce-Analytics. Die Pipeline dahinter ist dieselbe wie in unserem ETL-Leitfaden — nur für Volumen gebaut.