Publiziert: Zuletzt aktualisiert:

Data Mesh

Data Mesh ist ein dezentraler Architektur-Ansatz für Daten, bei dem Datenhoheit, Verantwortung und technische Umsetzung bei den jeweiligen Fachdomänen liegen, nicht bei einem zentralen Data-Engineering-Team. Jede Domäne behandelt ihre Daten als Produkt, das sie anderen Domänen anbietet.

Zentrale Data Lakes und Data Warehouses skalieren in grossen Organisationen nicht, weil ein einzelnes Team nicht das Domänenwissen aller Fachbereiche besitzen kann.

Die vier Prinzipien

  1. Domain-Driven Data Ownership: Jede Fachdomäne besitzt und verantwortet ihre eigenen Daten und Data Pipelines.
  2. Data as a Product: Daten werden mit Produkt-Mindset entwickelt: Qualität, Dokumentation, SLOs.
  3. Self-Serve Data Platform: Eine zentrale Plattform stellt Infrastruktur und Werkzeuge bereit, damit Domänen eigenständig Datenprodukte erstellen können.
  4. Federated Computational Governance: Globale Standards (Sicherheit, Datenschutz, Qualität) werden dezentral, aber einheitlich durchgesetzt.

Abgrenzung zu zentralen Ansätzen

  • Data Lake: Zentrales Repository aller Rohdaten, oft zum "Datensumpf" degradiert.
  • Data Warehouse: Zentralisiert und schema-on-write, schwer skalierbar bei vielen Quellsystemen.
  • Data Mesh: Dezentralisiert, schema-on-read pro Produkt, skaliert mit der Organisationsgrösse.

Der Fokus: Skalierung durch Dezentralisierung

Data Mesh löst das Problem, dass Datenkompetenz nicht in einem einzigen zentralen Team konzentriert werden kann.

FAQ

Brauchen wir Data Mesh wirklich oder ist es Hype?

Data Mesh ist sinnvoll ab einer Organisationsgrösse, bei der ein zentrales Data-Engineering-Team zum Bottleneck wird. Für kleine bis mittelgrosse Unternehmen ist ein gut geführter Data Lake oder ein modernes Data Warehouse oft ausreichend.

Was ist ein Data Product konkret?

Ein Data Product ist ein Asset, das von einer Domäne anderen Domänen zur Verfügung gestellt wird: Ein bereinigter, dokumentierter, versionierter Datensatz mit definierten SLOs für Aktualität und Qualität.

Reference Guide

Verwandte Themen

Offene Punkte