Ein Data Lake ist ein zentrales Repository, das Daten in ihrer unbearbeiteten, originalen Form direkt aus unterschiedlichen Quellen aufnimmt, mit keiner oder nur geringer vorheriger Bereinigung und Vereinheitlichung.
Statt Daten vor der Speicherung in ein festes Schema zu zwingen, nimmt ein Data Lake sie zunächst so auf, wie sie anfallen – egal ob strukturierte Tabellen, halbstrukturierte Protokolldateien oder unstrukturierte Inhalte wie Bilder. Die eigentliche Strukturierung und Aufbereitung erfolgt erst später, wenn die Daten tatsächlich ausgewertet werden sollen.
Daten aus verschiedenen Quellsystemen werden weitgehend unverändert in den Data Lake übernommen und dort abgelegt. Erst im Rahmen einer konkreten Auswertung, etwa einer Ad-hoc-Analyse oder eines Machine-Learning-Verfahrens, werden die benötigten Daten ausgewählt und in die passende Form transformiert – ein Ansatz, der als Schema-on-Read bezeichnet wird. Das unterscheidet den Data Lake von einem klassischen Data Warehouse, das Daten bereits beim Einspeisen nach einem festen Schema strukturiert. Ein Data Lake ist dadurch flexibler für unterschiedliche, auch noch nicht vorhergesehene Auswertungen, verlangt aber mehr Sorgfalt bei der späteren Interpretation der Rohdaten.
Ein Unternehmen speichert Protokolldateien, Social-Media-Beiträge und Verkaufsdaten unterschiedlichster Formate zunächst gesammelt in einem Data Lake, bevor Data-Science-Teams je nach Fragestellung gezielt die benötigten Ausschnitte daraus auswerten.
Data Lakes werden eingesetzt, um große und vielfältige Datenmengen kostengünstig und ohne vorherige Strukturierung zu sammeln und damit die Grundlage für explorative Analysen, maschinelles Lernen und noch nicht konkret geplante Auswertungen zu schaffen.
Ein Data Lake ersetzt nicht automatisch ein Data Warehouse: Für wiederkehrende, klar definierte Berichtsanforderungen bleibt ein strukturiertes Warehouse oft effizienter und einfacher nutzbar. Ohne ausreichende Metadaten und Ordnung droht außerdem, dass ein Data Lake unübersichtlich wird und sich einzelne Daten darin kaum noch wiederfinden lassen – ein Zustand, der in der Praxis als „Data Swamp“ bezeichnet wird.
Nicht zu verwechseln mit Data Warehouse: Dieses speichert bereits strukturierte, für Berichte aufbereitete Daten, während ein Data Lake Rohdaten in ihrer ursprünglichen Form vorhält. Ebenfalls abzugrenzen ist Datenraum: Dieser regelt den organisationsübergreifenden, vertrauenswürdigen Austausch von Daten zwischen mehreren Beteiligten, nicht die interne Speicherung unbearbeiteter Daten in einer Organisation.