- Der Unity Catalog ist die zentrale Governance-Schicht für Daten und KI innerhalb von Databricks.
- Er verbindet Daten- und AI-Assets mit Berechtigungen, Metadaten, Lineage und weiteren Governance-Funktionen.
- Zugriffsrechte lassen sich zentral für unterschiedliche Datenobjekte und Nutzergruppen verwalten.
- Data Lineage macht Herkunft, Verarbeitung und Nutzung von Daten nachvollziehbar.
- Der Unity Catalog geht über die Funktionen eines klassischen Data Catalogs hinaus und unterstützt auch Zugriffskontrolle, Auditing, Klassifizierung und Governance von AI-Assets.
- Data Contracts und der Unity Catalog ergänzen sich: Data Contracts definieren Erwartungen an Daten, der Unity Catalog unterstützt deren kontrollierte Verwaltung innerhalb von Databricks.
- Der Unity Catalog schafft damit eine gemeinsame Governance-Grundlage für Daten, Analytics und KI innerhalb von Databricks.
Der Unity Catalog ist die zentrale Governance-Schicht innerhalb von Databricks. Über ihn lassen sich Daten und AI-Assets strukturiert organisieren, beschreiben, schützen und überwachen.
In modernen Datenplattformen arbeiten unterschiedliche Rollen und Anwendungen mit denselben Daten. Data Engineers entwickeln Pipelines, Analysten erstellen Auswertungen, Fachbereiche nutzen Daten für Entscheidungen und KI-Anwendungen greifen automatisiert auf Daten und Modelle zu.
Dadurch entstehen grundlegende Fragen:
Der Unity Catalog führt die dafür relevanten Informationen und Kontrollmechanismen innerhalb von Databricks zusammen.
Mit wachsender Datenplattform steigen die Abhängigkeiten zwischen Teams, Datenquellen, Anwendungen und Datenprodukten.
Gleichzeitig müssen Zugriffe kontrolliert, sensible Daten geschützt und Verantwortlichkeiten nachvollziehbar bleiben.
Ein Beispiel:
Eine Kundentabelle wird von mehreren Teams verwendet. Ein Teil der Nutzer benötigt vollständigen Zugriff, andere dürfen bestimmte sensible Informationen nicht sehen. Zusätzlich soll nachvollziehbar sein, welche Reports, Datenprodukte oder KI-Anwendungen diese Daten verwenden.
Eine zentrale Governance erleichtert es, solche Anforderungen einheitlich zu steuern.
Der Unity Catalog unterstützt dabei insbesondere:
Die organisatorischen Regeln und Verantwortlichkeiten einer Data Governance ersetzt der Unity Catalog jedoch nicht.
Der Unity Catalog organisiert Daten und andere Assets hierarchisch.
Vereinfacht lässt sich die Struktur folgendermaßen darstellen:
Metastore
Der Metastore bildet die übergeordnete Verwaltungsebene des Unity Catalogs. Er enthält die registrierten Objekte und die dazugehörigen Governance-Informationen.
Catalog
Ein Catalog ist die oberste organisatorische Ebene innerhalb des Metastores.
Catalogs können beispielsweise nach Unternehmensbereichen, Datenprodukten oder Entwicklungsumgebungen strukturiert werden.
Denkbar wären etwa:
oder:
Welche Struktur sinnvoll ist, hängt von Organisation, Governance und Architektur des Unternehmens ab.
Schema
Innerhalb eines Catalogs strukturieren Schemas die enthaltenen Objekte weiter.
Ein Catalog finance könnte beispielsweise Schemas für unterschiedliche fachliche Bereiche oder Datenprodukte enthalten.
Daten- und AI-Objekte
Innerhalb dieser Struktur können unterschiedliche Objekte verwaltet werden, zum Beispiel:
Die Struktur des Unity Catalogs sollte daher nicht nur technisch, sondern auch fachlich sinnvoll aufgebaut werden.
Der Unity Catalog bündelt mehrere Funktionen, die für den kontrollierten Umgang mit Daten relevant sind.
Zugriffssteuerung
Berechtigungen können zentral für Nutzer, Gruppen und technische Identitäten vergeben werden.
Für sensible Daten lassen sich zusätzlich differenziertere Regeln einsetzen, beispielsweise Filter auf Zeilenebene oder Maskierungen bestimmter Spalten.
Metadaten und Data Discovery
Der Unity Catalog stellt Informationen über vorhandene Datenobjekte bereit und unterstützt deren Auffindbarkeit.
Beschreibungen, Klassifizierungen und weitere Metadaten helfen Anwendern dabei, Daten fachlich einzuordnen und geeignete Datenquellen auszuwählen.
Data Lineage
Data Lineage macht sichtbar, woher Daten stammen und wie sie weiterverarbeitet werden.
So lässt sich beispielsweise nachvollziehen:
Das unterstützt Fehleranalysen ebenso wie Impact-Analysen und Change-Management.
Auditing
Audit-Informationen helfen dabei, Zugriffe und Aktivitäten nachvollziehbar zu machen.
Dies unterstützt unter anderem Sicherheitsanalysen, Compliance-Anforderungen und die Untersuchung ungewöhnlicher Aktivitäten.
Datenqualität und Klassifizierung
Der Unity Catalog unterstützt die Klassifizierung von Daten und Funktionen zur Überwachung ihrer Qualität.
Dadurch können beispielsweise sensible Daten gekennzeichnet und Auffälligkeiten hinsichtlich Aktualität oder Vollständigkeit sichtbar gemacht werden.
Die drei Begriffe beschreiben unterschiedliche Ebenen.
Ein Data Catalog macht Datenbestände und ihre Metadaten auffindbar und verständlich.
Er beantwortet beispielsweise:
Data Governance
Data Governance definiert den organisatorischen Rahmen für den Umgang mit Daten.
Dazu gehören beispielsweise:
Unity Catalog
Der Unity Catalog verbindet Katalogfunktionen mit technischen Governance-Mechanismen innerhalb von Databricks.
Vereinfacht:
Data Governance definiert Regeln und Verantwortlichkeiten.
Ein Data Catalog schafft Transparenz über vorhandene Daten.
Der Unity Catalog unterstützt dabei, Daten innerhalb von Databricks zu katalogisieren und Governance technisch umzusetzen.
Mit KI erweitert sich der Gegenstand von Governance.
Neben klassischen Datenobjekten müssen zunehmend auch Modelle, Funktionen und andere AI-Assets kontrolliert verwaltet werden.
Daraus ergeben sich Fragen wie:
Der Unity Catalog schafft dafür eine gemeinsame Governance-Grundlage innerhalb von Databricks.
Das ist insbesondere für Data Agents relevant. Ein Data Agent benötigt kontrollierten Zugriff auf Unternehmensdaten und muss innerhalb definierter Berechtigungen arbeiten.
Dabei gilt:
KI benötigt nicht weniger Governance als klassische BI. Durch automatisierte Zugriffe und zusätzliche AI-Assets entstehen vielmehr neue Governance-Anforderungen.
Data Contracts und der Unity Catalog erfüllen unterschiedliche, aber ergänzende Aufgaben.
Ein Data Contract definiert beispielsweise:
Der Unity Catalog unterstützt dagegen die technische Organisation und Governance der entsprechenden Daten innerhalb von Databricks.
So kann ein Data Contract festlegen, welche Anforderungen für einen Datenbestand gelten. Der Unity Catalog kann diesen Datenbestand strukturiert verwalten, Zugriffe steuern, Metadaten bereitstellen und Abhängigkeiten über Data Lineage sichtbar machen.
Vereinfacht:
Der Data Contract beschreibt, worauf sich Nutzer von Daten verlassen können.
Der Unity Catalog unterstützt dabei, diese Daten innerhalb von Databricks kontrolliert zu verwalten.
Ein Data Contract ist damit nicht automatisch Bestandteil des Unity Catalogs. Beide Konzepte können innerhalb einer modernen Datenarchitektur jedoch sinnvoll zusammenspielen.
Der Unity Catalog sollte nicht nur technisch aktiviert werden. Vor der Umsetzung sollte geklärt sein, wie Governance und Verantwortlichkeiten innerhalb der Datenplattform organisiert werden sollen.
Wichtige Fragen sind:
Darauf aufbauend kann eine geeignete Catalog- und Berechtigungsstruktur entwickelt werden.
Ein möglicher Ablauf ist:
Wichtig ist:
Der Unity Catalog ist ein technisches Governance-Werkzeug. Eine funktionierende Data Governance entsteht durch das Zusammenspiel aus Organisation, Verantwortlichkeiten, Prozessen und Technologie.
