Startseite / Wissen / Data Lakehouse

Was ist ein Data Lakehouse und wofür braucht man es in der Industrie?

Kurzantwort

Ein Data Lakehouse verbindet die günstige, offene Ablage eines Data Lake mit Eigenschaften eines Data Warehouse: Transaktionen, Schema-Prüfung und schnelle Abfragen. Die Daten liegen einmal in offenen Dateiformaten wie Apache Parquet, und Reporting, Analytics und maschinelles Lernen greifen auf dieselbe Kopie zu. Das spart doppelte Datenhaltung, ersetzt aber weder ein Datenmodell noch die Arbeit an der Datenqualität.

Lesezeit 6 MinutenFachredaktion inray Industriesoftware
Zwei Ablagen mit Kopierschritt im Vergleich zu einer gemeinsamen Lakehouse-Ablage

Definition: Data Lakehouse

Ein Data Lakehouse ist eine Datenarchitektur, die zwei bisher getrennte Welten zusammenführt. Aus dem Data Lake übernimmt sie die Ablage beliebiger Daten in offenen Dateiformaten auf günstigem Objektspeicher. Aus dem Data Warehouse übernimmt sie Transaktionen, ein geprüftes Schema und Abfragen, die schnell genug für Berichte sind. Möglich macht das eine Tabellenschicht über den Dateien, etwa Delta Lake oder Apache Iceberg.

Merkmal Data Warehouse Data Lake Data Lakehouse
Ablage Strukturierte Tabellen, meist im Speicher des Anbieters Dateien jeder Art im Objektspeicher Offene Dateien im Objektspeicher plus Tabellenschicht
Schema Wird vor dem Schreiben festgelegt Wird erst beim Lesen angewendet Wird beim Schreiben geprüft und lässt sich kontrolliert ändern
Transaktionen Ja Nicht vorgesehen Ja, über das Tabellenformat
Typische Nutzung Reporting und BI Rohdatenarchiv, Data Science Reporting, Analytics und ML auf denselben Daten
Datenformat Meist herstellerspezifisch Offen, etwa Parquet, JSON, CSV Offen, etwa Parquet mit Delta Lake oder Iceberg

Warum das Lakehouse entstanden ist

Den Begriff Data Lake prägte James Dixon, damals Technikchef von Pentaho, im Jahr 2010: ein großer Speicher für Rohdaten, die erst beim Lesen eine Struktur bekommen. In der Praxis entstand daraus oft eine zweistufige Architektur. Rohdaten landen im Lake, ausgewählte Daten werden per Ladejob in ein Warehouse kopiert, damit Berichte schnell und verlässlich laufen. Jede Kopie braucht Pflege, und jede Kopie ist ein Stück älter als die Quelle.

Am 30. Januar 2020 beschrieb Databricks das Lakehouse in einem Blogbeitrag als Antwort darauf. Auf der Konferenz CIDR 2021 folgte der Fachaufsatz von Michael Armbrust, Ali Ghodsi, Reynold Xin und Matei Zaharia. Er nennt die Schwächen der zweistufigen Architektur beim Namen: veraltete Daten, Zuverlässigkeit, Gesamtkosten, Bindung an einen Anbieter und begrenzte Unterstützung für maschinelles Lernen.

Was veraltete Daten konkret bedeuten, zeigt eine Überschlagsrechnung. Rein zur Illustration: Lädt ein nächtlicher Job um 2:00 Uhr die Daten des Vortags ins Warehouse, erscheint ein Messwert von 2:05 Uhr erst knapp 24 Stunden später im Bericht. Über den Tag gemittelt liegt die Verzögerung bei rund 12 Stunden. Schreibt die Produktion direkt in eine Lakehouse-Tabelle, entfällt der Ladeschritt, und die Verzögerung hängt nur noch davon ab, wie oft Daten übertragen werden. Die Zahlen sind ein Rechenbeispiel, kein Messwert aus einem Projekt.

Aus welchen Bausteinen ein Lakehouse besteht

Ein Lakehouse ist kein einzelnes Produkt, sondern ein Zusammenspiel offener Bausteine.

Baustein Aufgabe Herkunft
Apache Parquet Spaltenorientiertes Dateiformat für große Datenmengen Top-Level-Projekt der Apache Software Foundation seit 27. April 2015
Delta Lake Tabellenformat mit Transaktionen, Schema-Prüfung und Zugriff auf frühere Versionen Von Databricks am 24. April 2019 als Open Source veröffentlicht, seit Oktober 2019 Projekt der Linux Foundation
Apache Iceberg Offenes Tabellenformat, ursprünglich bei Netflix entstanden Apache Incubator ab 16. November 2018, Top-Level-Projekt seit 20. Mai 2020
Abfrage-Engine Liest und schreibt die Tabellen, führt SQL und ML-Workloads aus Mehrere Engines können dieselben Tabellen nutzen, etwa Apache Spark
Medallion-Schichten Ordnen Daten nach Reifegrad in Bronze, Silber und Gold Entwurfsmuster, beschrieben in der Databricks-Dokumentation

Wie ein Lakehouse technisch funktioniert

Vier Mechanismen tragen die Architektur.

  • Transaktionsprotokoll: Das Tabellenformat führt Buch darüber, welche Dateien zu welcher Version einer Tabelle gehören. So können mehrere Prozesse gleichzeitig lesen und schreiben, ohne halbfertige Stände zu sehen, und frühere Versionen bleiben abrufbar.
  • Schema-Prüfung: Daten, die nicht zum Schema passen, werden beim Schreiben abgewiesen. Änderungen am Schema sind möglich, aber bewusst.
  • Getrennter Speicher und Rechenleistung: Die Daten liegen im Objektspeicher, Rechenleistung wird nur für Abfragen und Verarbeitung belegt. Beides lässt sich unabhängig skalieren.
  • Offene Formate: BI-Werkzeuge, SQL-Engines und Bibliotheken für maschinelles Lernen lesen dieselben Dateien direkt, ohne eigene Kopie.

In vier Schritten zum Lakehouse

Die Reihenfolge ist bei den meisten Vorhaben ähnlich.

  1. Fragen und Quellen klären

    Welche Auswertungen sollen entstehen, und welche Maschinen, Anlagen und Systeme liefern die Daten dafür?

  2. Rohdaten laden (Bronze)

    Daten kommen unverändert und mit Herkunft in die erste Schicht. So bleibt jede spätere Auswertung nachvollziehbar.

  3. Bereinigen und anreichern (Silber)

    Dubletten entfernen, Einheiten und Zeitstempel vereinheitlichen, Messwerte mit Anlage, Auftrag und Schicht verknüpfen.

  4. Auswerten und zurückspielen (Gold)

    Kennzahlen, Berichte und Modelle entstehen auf der geprüften Schicht. Ergebnisse wie Vorhersagen oder Sollwerte können zurück in Richtung Produktion gehen.

Was ein Data Lakehouse nicht ist

Vier Abgrenzungen verhindern falsche Erwartungen.

  • Kein einzelnes Produkt: Lakehouse beschreibt ein Architekturmuster. Es gibt mehrere Anbieter und mindestens zwei verbreitete offene Tabellenformate.
  • Kein Ersatz für die Steuerung: Ein Lakehouse dient der Auswertung. Regelkreise an der Maschine und Reaktionen im Millisekundenbereich gehören weiter in die Automatisierung.
  • Keine automatische Datenqualität: Schema-Prüfung verhindert falsche Datentypen, aber keine falschen Messwerte oder fehlende Zuordnungen.
  • Kein Muss für jedes Unternehmen: Wer nur wenige, stabile Berichte braucht, kommt mit einem Data Warehouse oft gut aus.

Typische Hürden in der Praxis

Diese Punkte bremsen Lakehouse-Projekte in der Fertigung am häufigsten.

  • Viele kleine Dateien: Hochfrequente Maschinendaten erzeugen bei häufigen Schreibvorgängen viele kleine Dateien, die Abfragen verlangsamen. Bündeln und regelmäßiges Zusammenfassen helfen.
  • Zeitstempel und Zeitzonen: Steuerungen, MES und ERP liefern Zeiten in unterschiedlichen Formaten.
  • Fehlender Kontext: Ein Messwert ohne Zuordnung zu Anlage, Auftrag und Schicht ist schwer auswertbar.
  • Berechtigungen: Wer darf welche Tabellen lesen, und wer darf schreiben?
  • Rechenkosten: Getrennte Rechenleistung ist flexibel, wird aber teuer, wenn Abfragen ungeplant laufen.
Der ehrliche Teil

Ein Lakehouse löst das Problem doppelter Datenhaltung, nicht das Problem unklarer Daten. Wer heute ein Warehouse und einen Lake pflegt, hat nach der Umstellung nicht automatisch weniger Arbeit: Der Aufwand verlagert sich von Kopierjobs hin zu Tabellenpflege, Berechtigungen und Datenmodell. Dieser Aufwand ist besser investiert, aber er bleibt.

Wie pronubes unterstützt

Für ein Lakehouse übernimmt pronubes den Weg der Daten aus der Produktion und zurück. Die Produktteile haben dabei unterschiedliche Aufgaben.

  • pronubes Edge: Edge überträgt Maschinen- und Prozessdaten aus OPC UA, MQTT, SPS und SAP ohne zusätzliche Middleware in Databricks oder einen eigenen Spark-Cluster. Ergebnisse wie Vorhersagen oder Sollwerte gelangen über einen konfigurierten Flow kontrolliert zurück in Richtung Produktion.
  • pronubes Zones: Zones bildet Standorte, Produktionsbereiche, Systeme und Datenflüsse in einer klaren Struktur ab. Das hilft, Rohdaten schon beim Laden dem richtigen Standort und Bereich zuzuordnen.
  • pronubes Insights: Insights macht sichtbar, ob Verbindungen und Datenflüsse im laufenden Betrieb stabil arbeiten. So erkennen Sie früh, wenn Daten nicht im Lakehouse ankommen.
Begriffe
Data Lakehouse
Datenarchitektur, die offene Dateiablage mit Transaktionen und Schema-Prüfung verbindet.
Data Lake
Speicher für Rohdaten beliebiger Art, Struktur entsteht erst beim Lesen.
Data Warehouse
Strukturierte Datenbank für Berichte, Schema wird vor dem Schreiben festgelegt.
Apache Parquet
Offenes, spaltenorientiertes Dateiformat.
Delta Lake
Offenes Tabellenformat mit Transaktionsprotokoll, Projekt der Linux Foundation.
Apache Iceberg
Offenes Tabellenformat der Apache Software Foundation.
ACID
Eigenschaften verlässlicher Transaktionen: atomar, konsistent, isoliert, dauerhaft.
Medallion-Architektur
Ordnung der Daten in die Schichten Bronze, Silber und Gold.
Schema-on-Read
Struktur wird erst beim Lesen auf die Daten angewendet.
Nachgefragt

Häufige Fragen

Was ist der Unterschied zwischen Data Lake und Data Lakehouse?

Ein Data Lake speichert Rohdaten ohne festes Schema und ohne Transaktionen. Ein Data Lakehouse legt eine Tabellenschicht darüber, die Transaktionen, Schema-Prüfung und Versionen ermöglicht. Dadurch eignet es sich auch für Berichte, ohne die Daten in ein Warehouse zu kopieren.

Wer hat das Konzept beschrieben?

Databricks stellte das Lakehouse am 30. Januar 2020 in einem Blogbeitrag vor. Der Fachaufsatz von Armbrust, Ghodsi, Xin und Zaharia erschien zur Konferenz CIDR 2021.

Brauche ich Databricks für ein Lakehouse?

Nein. Das Lakehouse ist ein Architekturmuster. Offene Tabellenformate wie Delta Lake und Apache Iceberg werden von verschiedenen Engines und Anbietern unterstützt.

Eignet sich ein Lakehouse für Maschinendaten?

Für Historie, Auswertungen und maschinelles Lernen ja. Für Steuerung und Reaktionen in Millisekunden nein. Hochfrequente Daten sollten gebündelt geschrieben werden, damit nicht zu viele kleine Dateien entstehen.

Was bedeuten Bronze, Silber und Gold?

Die drei Schichten der Medallion-Architektur: Bronze enthält Rohdaten, Silber bereinigte und verknüpfte Daten, Gold auswertungsfertige Kennzahlen und Modelle.

Loslegen

Ein Lakehouse lebt von Daten, die mit Kontext ankommen.

pronubes bringt Maschinen- und Prozessdaten ohne zusätzliche Middleware in Databricks oder Ihren Spark-Cluster und Ergebnisse kontrolliert zurück in Richtung Produktion.

pronubes by inray

pronubes is a product of inray Industriesoftware GmbH. Over 30 years of industrial software made in Germany. Innovative and reliable for manufacturing companies.

inray