DATA MART Consulting auf der DOAG Data Analytics 2018
Mit dem Datenqualitäts-Cockpit (Data Quality Result Mart) zu mehr Datenqualität
Unter dem Motto „Daten als Motor der Digitalisierung“ fand am 19. und 20. März 2018 die gemeinsame Data Analytics Konferenz von Oracle und der DOAG in Brühl statt. Rund 250 Besucher tauschten sich neben klassischen technischen Fragestellungen auch über aktuelle Entwicklungen der digitalen Wirtschaft, wie Machine Learning, Design Thinking, Geodaten oder die neue EU-Datenschutzgrundverordnung und viele weitere Themen aus.
Dabei zeigte sich, dass in Verbindung mit den mit diesen Entwicklungen einhergehenden exponentiell wachsenden Datenmengen vor allem das Thema der Datenqualität in den Unternehmen für graue Haare sorgt. Nicht zuletzt steigen mit immer neuen und stetig wachsenden regulatorischen Anforderungen auch die Anforderungen an eine revisionssichere Nachweisbarkeit der Datenqualität. Stellvertretend seien hier der Sarbanes-Oxley Act (SOX 302 / SOX 404) oder BCBS 239 („Grundsätze für die effektive Aggregation von Risikodaten und die Risikoberichterstattung“) des Baseler Ausschusses genannt. Entsprechend sehen sich immer mehr BI-Manager der Anforderung gegenüber, für die Datenqualität bis hin zu einem dokumentierten, revisionssicheren Freigabeprozess zu garantieren.
In einem vielbeachteten Vortrag zum Thema Datenqualitätsmanagement erläuterte Christiane Breuer von DATA MART, wie man sinnvolle Kennzahlen und Messgrößen auf Basis eines nach Data Vault 2.0 konzipierten Data Warehouse definiert. Am konkreten Beispiel zeigte sie auf, wie man mit Oracle-BIEE (Oracle BI Enterprise Edition) mittels eines Datenqualitäts-Cockpits (Data Quality Result Mart) die Daten- und Prozessqualität visualisieren, analysieren und steuern kann.
Wo sind die Datenqualitätsmanagementaufgaben?
In Projektierung und Betrieb eines Data Warehouse gibt es zahlreiche technische, fachliche und organisatorische Prozesse, die im Rahmen des Datenqualitätsmanagements zu definieren sind. Hierbei wird ein separates Datenmodell definiert, in welchem die Prüfungsdaten aus Datenbewirtschaftungsprozessen und Prüfungsprozessen gesammelt und aufbereitet werden, das sog. Data Quality Control Framework.
In diesem Datenmodell werden verschiedene Kennzahlen für Datenqualität (semantisch) und Prozessqualität (syntaktisch, technisch) definiert, die nach den Qualitätsdimensionen für Daten (Datenwertprüfung, Konsistenz, Aktualität, Eindeutigkeit) bzw. für Prozesse (Trend/Entwicklung, Integrität, Zeiteinhaltung) organisiert werden. Dabei spielen sowohl das Prozessdatum für Monitoring und Qualitätsmessung der Prozesse als auch der business-date-range für die semantischen Prüfungen eine entscheidende Rolle. Die unterschiedlichen Prüfungen werden in dedizierten DWH-Schichten durchgeführt, prozessbezogene Prüfung und Protokollierung generell über alle Schichten (RAW-IN, RAW-VAULT, BUSINESS VAULT), semantische/inhaltliche Wertprüfungen dann gezielt bei Prozessen, die den BUSINESS VAULT oder auch MART-Schichten bewirtschaften. Ziel ist es, alle DQ-Prozesse in ein DQ-Modell zu protokollieren und dabei die Qualitätsdaten gleichzeitig für Betrieb und Monitoring als auch für den revisionssicheren SIGN-OFF-Prozess aufzubereiten.
Im Vortrag wurde ein Beispiel einer Implementierung auf einem DWH (Oracle 12c / Data Vault 2.0 / OBIEE 12c) gezeigt. Herausforderungen bei dem Projekt waren zum einen die große Anzahl von Tabellen in RAW VAULT und ein nicht persistentes Business Data Vault, zum anderen eine sehr heterogene ETL Landschaft mit Werkzeugen verschiedener Hersteller, die alle in ein zentrales DQ Modell protokollieren müssen.
Die Visualisierung für IT-Betrieb (Fokus Prozesse) und Fachabteilungen (Fokus Inhaltliche Datenqualität) wurde über komplexe Dashboards mit Oracle OBI-EE realisiert.
Fazit
Selbstredend spielt die Datenqualität bei allen Anwendungen im Unternehmen eine wichtige Rolle. Und Tatsache ist, dass Datenqualität das Fundament von Systemen zur Entscheidungsunterstützung ist. Investitionen in die Datenqualität und entsprechende Systeme zahlen sich vielfach durch Wartbarkeit, niedrigere Betriebskosten und sichere Entscheidungsgrundlagen zurück. Denn nur, wenn Unternehmen auf gesicherte, möglichst tagesaktuelle Informationen zu Leistungs- und Finanzgrößen – mit umfassendem Kontext analysiert und präsentiert – zugreifen können, sind fundierte Entscheidungen möglich. So können sie den aktuellen Anforderungen der digitalen Transformation gerecht werden und gleichzeitig unternehmerische Qualität gewährleisten.
Das Thema „QS-Cockpit“ wurde im Anschluss an den Vortrag intensiv auf dem DATA MART-Stand diskutiert. Die Teilnehmer bestätigten einhellig die Aktualität des Themas, wie es Christiane Breuer im Vortrag auf den Punkt brachte: „Seit 20 Jahren ist das Thema Datenqualität unter den Top-5-Themen der Herausforderungen bei Data Warehouse und Analyse.“ Im Zuge der Digitalisierung rückt die Datenqualität jetzt noch stärker in den Fokus. „Graue Haare“ muss sie jedoch nicht verursachen, vielmehr lässt sie sich mit professioneller Begleitung in den Griff bekommen.
Hier geht es zum Nachbericht der Veranstaltung bei der DOAG Data Analytics 2018.