Big Data bezeichnet Datenmengen, die sich durch großes Volumen, hohe Erzeugungsgeschwindigkeit und große Vielfalt auszeichnen und deren Verarbeitung spezialisierte Methoden und Infrastrukturen erfordert.
Klassische Auswertungswerkzeuge stoßen bei sehr großen, schnell wachsenden und heterogenen Datenmengen an ihre Grenzen. Big Data beschreibt genau dieses Phänomen: Daten fallen in einem Umfang und einer Geschwindigkeit an, die neue technische Ansätze zur Speicherung, Verarbeitung und Analyse notwendig machen, um daraus verwertbare Erkenntnisse zu gewinnen.
Big Data wird häufig anhand mehrerer Dimensionen beschrieben: Volumen (die schiere Menge an Daten), Geschwindigkeit (die Rate, mit der Daten erzeugt und verarbeitet werden müssen) und Vielfalt (die Unterschiedlichkeit von Formaten wie Text, Bild, Sensordaten oder Protokolldateien). Um solche Datenmengen nutzbar zu machen, kommen verteilte Speicher- und Verarbeitungssysteme zum Einsatz, die Berechnungen auf viele Rechner verteilen, sowie statistische und algorithmische Verfahren, die Muster und Zusammenhänge in den Daten erkennen. Ergänzend wird teils eine vierte Dimension genannt, die Aussagekraft der Daten, da erst die Ableitung belastbarer Erkenntnisse aus den Rohdaten den eigentlichen Nutzen von Big-Data-Analysen ausmacht.
Ein Energieversorger sammelt minütlich Verbrauchsdaten aus tausenden intelligenten Stromzählern. Allein durch die Menge und die hohe Erfassungsfrequenz entsteht ein Big-Data-Szenario: Erst spezialisierte Auswertungssysteme können daraus Lastspitzen erkennen, den Netzbetrieb optimieren und Prognosen für den künftigen Verbrauch erstellen.
Big-Data-Methoden werden eingesetzt, um in Bereichen wie Energieversorgung, Verkehr, Gesundheitswesen, Handel oder Forschung große, heterogene Datenmengen auszuwerten und daraus Prognosen, Muster oder Entscheidungsgrundlagen abzuleiten. Sie bilden zudem häufig die Datenbasis für Verfahren des maschinellen Lernens, die auf großen Trainingsmengen beruhen, sowie für Frühwarnsysteme, die Abweichungen von normalen Mustern in Echtzeit erkennen sollen.
Big Data ist kein reines Größenmerkmal, sondern beschreibt ein Zusammenspiel aus Menge, Geschwindigkeit und Vielfalt; nicht jede große Datei ist automatisch ein Big-Data-Fall. Zudem liefern große Datenmengen allein noch keine verlässlichen Erkenntnisse: Ohne ausreichende Datenqualität und sorgfältige Methodik lassen sich aus Big-Data-Analysen häufig nur Korrelationen, aber keine gesicherten Kausalzusammenhänge ableiten.
Nicht zu verwechseln mit Datenqualität, die unabhängig von der Datenmenge die Genauigkeit, Vollständigkeit und Zuverlässigkeit von Daten beschreibt. Ebenso abzugrenzen von Trainingsdaten, die speziell für das Training von KI-Modellen aufbereitet werden und nicht zwangsläufig ein Big-Data-Volumen erreichen müssen.
Edge Computing, Datenökonomie, Open Data