Eine Datenpipeline ist eine automatisierte Abfolge von Schritten, die Rohdaten aus einem oder mehreren Quellsystemen extrahiert, aufbereitet und in ein Zielsystem überführt.
Auch genannt: Data Pipeline
Bevor Daten sinnvoll ausgewertet werden können, müssen sie oft erst aus verschiedenen Quellen zusammengetragen, bereinigt und in ein einheitliches Format gebracht werden. Eine Datenpipeline automatisiert genau diese Strecke: Sie holt Rohdaten ab, verarbeitet sie in mehreren Schritten und legt das Ergebnis an einem Zielort ab, ohne dass jeder Schritt manuell ausgeführt werden muss.
Eine Datenpipeline besteht typischerweise aus mehreren aufeinanderfolgenden Verarbeitungsschritten: Zunächst werden Daten aus Quellsystemen extrahiert, anschließend transformiert – etwa durch Bereinigung, Zusammenführung oder Umformatierung – und schließlich in ein Zielsystem geladen, etwa ein Data Warehouse. Datenpipelines laufen dabei entweder in festen Intervallen oder fortlaufend, sobald neue Daten eintreffen, und lassen sich überwachen, damit Fehler in einzelnen Schritten frühzeitig auffallen.
Eine Datenpipeline sammelt jede Nacht Bestelldaten aus dem Onlineshop, bereinigt fehlerhafte Einträge, ergänzt Produktkategorien aus einem weiteren System und lädt das Ergebnis automatisch in ein Data Warehouse, wo es am nächsten Morgen für Auswertungen bereitsteht.
Datenpipelines werden eingesetzt, um regelmäßig große Datenmengen zwischen Systemen zu bewegen, Daten aus verschiedenen Quellen zu konsolidieren und Analyse- oder Berichtssysteme fortlaufend mit aktuellen, aufbereiteten Daten zu versorgen, ohne dass diese Schritte händisch wiederholt werden müssen.
Eine Datenpipeline garantiert nicht automatisch hohe Datenqualität – fehlerhafte oder unvollständige Rohdaten bleiben ohne gezielte Prüfschritte auch nach der Verarbeitung fehlerhaft. Zudem ist eine Datenpipeline kein Zielsystem selbst, sondern der Transportweg dorthin; sie ersetzt weder die Datenspeicherung noch die eigentliche Auswertung. Ein häufiges Missverständnis ist außerdem, jede automatisierte Datenübertragung als Datenpipeline zu bezeichnen, auch wenn keine strukturierten Verarbeitungsschritte dazwischenliegen.
Nicht zu verwechseln mit dem Data Warehouse: Dieses ist das Zielsystem, in dem aufbereitete Daten gespeichert werden, während die Datenpipeline den Weg der Daten bis dorthin beschreibt. Ebenfalls abzugrenzen ist Workflow-Automatisierung: Diese automatisiert allgemeine fachliche Arbeitsabläufe, während sich eine Datenpipeline speziell auf die Bewegung und Aufbereitung von Daten konzentriert.