- Die Medallion Architecture ist ein mehrstufiges Datenarchitektur-Muster, bei dem Daten schrittweise verarbeitet und für unterschiedliche Nutzungszwecke aufbereitet werden. Häufig wird sie in modernen Datenplattformen und Data Lakehouses eingesetzt. Auch Microsoft, Databricks und AWS dokumentieren das Muster mit Bronze-, Silver- und Gold-Schichten. Quelle: Microsoft Learn, Databricks, AWS
- Bronze enthält Daten möglichst quellengetreu und bildet die nachvollziehbare Ausgangsbasis für weitere Verarbeitungsschritte.
- Silver enthält bereinigte, standardisierte, integrierte und validierte Daten.
- Gold stellt fachlich modellierte oder aggregierte Daten für konkrete Anwendungsfälle wie Reporting, Business Intelligence, Data Analytics oder Fachanwendungen bereit.
- Mit jeder Verarbeitungsstufe sollen Struktur, Verlässlichkeit und Nutzbarkeit der Daten steigen. Das entspricht dem Grundprinzip der Medallion Architecture, Daten schrittweise von Rohdaten zu kuratierten Datenbeständen weiterzuentwickeln.
- Die Medallion Architecture ersetzt weder Data Quality, Datenmodellierung, Data Governance noch einen Semantic Layer. Sie schafft einen strukturellen Rahmen, in dem diese Aufgaben umgesetzt werden können.
- Entscheidend sind nicht die Bezeichnungen Bronze, Silver und Gold. Entscheidend ist, dass für jede Schicht klar definiert ist, welchen Reifegrad die Daten besitzen, welche Verarbeitung dort stattfindet und wofür die Daten genutzt werden dürfen.
Die Medallion Architecture ist ein Datenarchitektur-Muster, bei dem Daten mehrere Verarbeitungsschichten durchlaufen.
Am häufigsten werden diese als Bronze, Silver und Gold bezeichnet.
Dabei verändert sich mit jeder Schicht der Reifegrad der Daten:
Die Grundidee besteht darin, Rohdaten nicht unmittelbar für sämtliche Analysen und Anwendungen zu verwenden. Stattdessen werden Aufnahme, Qualitätsprüfung, Integration, fachliche Modellierung und Nutzung voneinander getrennt.
Das schafft eine klare Trennung der Verantwortlichkeiten innerhalb der Datenverarbeitung.
Microsoft beschreibt die Medallion Architecture beispielsweise als Design Pattern, bei dem Bronze für Raw Data, Silver für Enriched Data und Gold für Curated Data steht. Databricks beschreibt dasselbe Prinzip als schrittweise Verbesserung von Struktur und Datenqualität.
Daten aus operativen Systemen sind selten unmittelbar für Analysen geeignet.
Typische Herausforderungen sind:
Die schrittweise Verarbeitung trennt diese Aufgaben voneinander.
Das schafft drei wesentliche Vorteile:
Nachvollziehbarkeit: Rohdaten bleiben als Ausgangspunkt erhalten.
Wiederverwendbarkeit: Bereinigte und integrierte Daten können von mehreren Anwendungen genutzt werden.
Änderbarkeit: Fachliche Modelle oder Berechnungen können weiterentwickelt werden, ohne zwangsläufig sämtliche Daten erneut aus den Quellsystemen laden zu müssen.
Eine solche Trennung kann auch Change-Management unterstützen. Wenn Verarbeitungsschritte und Abhängigkeiten klar voneinander abgegrenzt sind, lassen sich Auswirkungen einer Änderung besser identifizieren und kontrolliert umsetzen.
Die Medallion Architecture schafft damit einen strukturierten Datenfluss. Sie ersetzt jedoch nicht die fachliche Definition von Daten oder Qualitätsanforderungen.
Hier werden Daten aus den Quellsystemen möglichst quellengetreu übernommen und für die weitere Verarbeitung gespeichert.
Typische Quellen sind beispielsweise:
Die Übernahme dieser Daten ist Teil der Data Ingestion.
Im Bronze Layer stehen vor allem folgende Ziele im Mittelpunkt:
Microsoft beschreibt Bronze als Raw Layer, in dem Daten möglichst nahe am Zustand der Quelle gespeichert werden. Databricks verfolgt ebenfalls das Prinzip einer weitgehend unveränderten Rohdatenbasis.
„Rohdaten“ bedeutet dabei nicht automatisch „schlechte Daten“. Es bedeutet zunächst, dass sie noch nicht umfassend für unternehmensweite analytische Anforderungen harmonisiert wurden.
Im Silver Layer werden die Daten für eine verlässlichere und wiederverwendbare Nutzung aufbereitet.
Typische Verarbeitungsschritte sind:
Diese Schritte gehören zur Data Transformation und zur systematischen Sicherung der Data Quality.
Silver ist damit nicht einfach eine „bessere Kopie“ der Bronze-Daten. Hier entsteht eine gemeinsame, konsistentere Datenbasis, die von unterschiedlichen nachgelagerten Prozessen genutzt werden kann.
Welche Qualitätsregeln dabei gelten, muss fachlich definiert werden.
Ein Data Contract kann beispielsweise festlegen, welche Struktur, Qualität, Aktualität oder Verbindlichkeit für bestimmte Daten erwartet wird. Der Silver Layer ist eine mögliche Stelle, um solche Anforderungen technisch umzusetzen und zu prüfen.
Welche Qualität erforderlich ist, hängt vom konkreten Nutzungszweck ab.
Im Gold Layer steht die konkrete geschäftliche Nutzung im Vordergrund.
Daten werden so strukturiert, modelliert oder aggregiert, dass sie gezielt für bestimmte Anwendungsfälle verwendet werden können.
Dazu gehören beispielsweise:
Gold-Daten können beispielsweise nach Geschäftsprozessen oder Fachbereichen organisiert werden:
Dabei muss Gold nicht aus einer einzelnen finalen Tabelle bestehen.
Je nach Architektur können unterschiedliche fachliche Datenprodukte oder Modelle entstehen, die auf derselben integrierten Datenbasis aufbauen.
Für Künstliche Intelligenz und Machine Learning ist Gold ebenfalls relevant, aber nicht ausschließlich. Für detaillierte Data-Science- oder ML-Anwendungen können auch Daten aus Silver benötigt werden. Databricks nennt Silver ausdrücklich als mögliche Basis für Data Scientists und Gold für stärker fachlich aufbereitete Business- und Analytics-Anwendungen.
Die Medallion Architecture beschreibt den Verarbeitungsweg von Daten.
Sie beantwortet jedoch nicht automatisch, wie Daten fachlich modelliert werden müssen oder welche Kennzahlendefinition korrekt ist.
Hier greifen weitere Disziplinen ineinander.
Data Quality
Data Quality definiert, welche Anforderungen Daten erfüllen müssen, damit sie für einen bestimmten Zweck geeignet sind.
Dazu gehören unter anderem Vollständigkeit, Konsistenz, Validität, Genauigkeit und Aktualität.
Diese Anforderungen können insbesondere im Silver Layer technisch überprüft werden. Sie müssen jedoch zuvor fachlich festgelegt sein.
Datenmodellierung
Datenmodellierung beschreibt, wie Datenobjekte, Beziehungen, Schlüssel, Granularitäten und Geschäftsprozesse strukturiert abgebildet werden.
Modellierung kann bereits auf Silver-Ebene stattfinden. Für fachlich ausgerichtete Gold-Strukturen wird sie besonders relevant.
Semantic Layer
Ein Semantic Layer übersetzt technische Datenstrukturen in fachlich verständliche Begriffe, Kennzahlen, Dimensionen und Beziehungen.
Eine Gold-Schicht kann dafür eine geeignete Datenbasis bereitstellen. Sie ist jedoch nicht automatisch selbst der Semantic Layer.
Vereinfacht gesagt:
Medallion Architecture strukturiert den Datenfluss.
Data Quality definiert und prüft die Datenqualität.
Datenmodellierung strukturiert die fachlichen Zusammenhänge.
Der Semantic Layer macht Business-Logik konsistent nutzbar.
Die Medallion Architecture ist nicht an einen bestimmten Hersteller gebunden.
Das Muster wird heute in unterschiedlichen Plattformen eingesetzt.
Microsoft empfiehlt Bronze-, Silver- und Gold-Schichten beispielsweise als Architekturansatz für Microsoft Fabric und OneLake.
Databricks dokumentiert das Medallion-Prinzip als empfohlenes Design Pattern für Lakehouse-Architekturen.
Auch AWS beschreibt Medallion-Architekturen auf Basis von Apache Iceberg und AWS-Diensten.
Die konkrete technische Umsetzung kann sich deshalb deutlich unterscheiden.
Mögliche Speicher- und Verarbeitungstechnologien sind beispielsweise:
Aus Architektursicht ist wichtiger als die konkrete Technologie, dass Verantwortlichkeiten und Qualitätsstufen eindeutig definiert sind.
Die Medallion Architecture ist deshalb als logisches Architekturprinzip zu verstehen. Die technische Umsetzung sollte sich an den Anforderungen, der vorhandenen Plattform und der langfristigen Datenstrategie des Unternehmens orientieren.
Die Medallion Architecture bietet insbesondere dann Vorteile, wenn Daten aus mehreren Quellen integriert und für unterschiedliche Nutzergruppen bereitgestellt werden müssen.
Vorteile
Nachvollziehbarkeit
Die Trennung der Verarbeitungsschritte erleichtert es, den Weg von den Rohdaten bis zur fachlichen Nutzung nachzuvollziehen.
Wiederverarbeitbarkeit
Wenn Rohdaten erhalten bleiben, können nachgelagerte Verarbeitungsschritte bei Änderungen oder Fehlern erneut ausgeführt werden.
Wiederverwendbarkeit
Bereinigte Daten aus Silver können für mehrere Gold-Modelle und Anwendungen verwendet werden.
Klare Verantwortlichkeiten
Für jede Ebene kann definiert werden, welche Transformationen, Qualitätsanforderungen und Nutzungsmöglichkeiten gelten.
Unterstützung unterschiedlicher Workloads
Je nach Reifegrad können Daten für BI, Analytics, Data Science oder KI bereitgestellt werden.
Grenzen
Die Architektur sollte nicht schematisch umgesetzt werden. Nicht jedes Unternehmen benötigt exakt drei physische Schichten. Auch muss nicht jede Information zwingend alle drei Ebenen durchlaufen.
Zusätzliche Layer erhöhen potenziell:
Auch Databricks bezeichnet das Muster als empfohlene Best Practice und nicht als technische Pflicht.
Entscheidend ist deshalb nicht, möglichst viele Bronze-, Silver- und Gold-Tabellen anzulegen.
Entscheidend ist eine nachvollziehbare Architektur, in der jeder Layer einen klaren Zweck erfüllt.
Der Aufbau einer Medallion Architecture sollte mit den fachlichen Anforderungen beginnen und nicht mit der Frage, welche Technologie eingesetzt wird.
Zunächst sollten unter anderem folgende Fragen beantwortet werden:
Darauf aufbauend lassen sich die Aufgaben der einzelnen Schichten definieren.
Ein möglicher Ablauf ist:
Aus unserer Sicht ist dabei ein Punkt besonders wichtig:
Eine gute Medallion Architecture entsteht nicht dadurch, dass Tabellen mit Bronze, Silver und Gold bezeichnet werden.
Die Qualität der Architektur zeigt sich daran, ob Transformationen nachvollziehbar sind, Qualitätsanforderungen klar definiert wurden, Datenmodelle fachlich belastbar sind und nachgelagerte Nutzer wissen, auf welche Daten sie sich verlassen können.
