Anmelden

DATA MART | ETL@WORK

ETL@WORK
 
Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet. Lorem ipsum dolor sit amet, consetetur sadipscing elitr, sed diam nonumy eirmod tempor invidunt ut labore et dolore magna aliquyam erat, sed diam voluptua. At vero eos et accusam et justo duo dolores et ea rebum. Stet clita kasd gubergren, no sea takimata sanctus est Lorem ipsum dolor sit amet.

​​

ETL Automation

​​​


​Zeitgewinn im Data-Warehouse-Projekt durch ETL-Automatisierung

​​​

Während andere noch damit beschäftigt sind, Quelltabellen manuell anzubinden, setzen Sie mit ETL@WORK schon die inhaltlichen Anforderungen um.


​Automatisierung der Datenbewirtschaftung (ETL / ELT​) im Data Warehouse mit DATA MART Consulting – mit ETL@WORK werden ETL-Prozesse kostengünstig und automatisch generiert, ohne Abstriche bei Flexibilität, Erweiterbarkeit und Qualität.

In einem Data Warehouse-Projekt entfallen bei der Modellierung der Data Warehouse-Schichten erfahrungsgemäß etwa 80 Prozent des Aufwandes auf die manuelle Umsetzung der ETL-Prozesse. Da bis zur Historisierungsschicht (EDW) standardisierte Modellierungsansätze zum Ansatz kommen, kann hier durch Automatisierung und Code-Generierung sowohl bei der ersten Einrichtung als auch bei Änderungen deutlich Zeit eingespart werden. Die gewonnene Zeit kann dann wiederum für die fachliche Modellierung und die Implementierung der Geschäftslogik genutzt werden. Das reduziert nicht nur die Kosten, sondern ermöglicht auch eine schnellere Nutzung.

Mit der ETL-Methodik von DATA MART Consulting werden ETL-Prozesse mit den verschiedenen Tools jeweils auf der Basis vorgefertigter Prozess-Templates realisiert. So wird ein hoher Grad an Automatisierung, Qualität, Monitoring und Nachvollziehbarkeit gewährleistet.


Unsere ETL-Methodik haben wir mit den Plattformen von Microsoft, Oracle und Exasol automatisiert.

Auf der Microsoft-Plattform wurde ​ ETL@WORK von uns auf Basis der Business Intelligence Markup Language (BIML) zur Anbindung verschiedenster Datenquellen entwickelt, um mit Microsoft SQL Server Integration Services (MS SSIS) ​und Azure Data Factory Integration Runtime ETL-Prozesse auch bei Änderungen an Datenquellen automatisch und wiederholbar bis in die Historisierungsschicht/EDW-Schicht eines Data Warehouse zu generieren.

Auf der Oracle Plattform arbeitet​ ETL@WORK in analoger Form mit ODI und auch auf der Exasol-Plattform steht​ ETL@WORK zur Generierung der entsprechenden LUA-/SQL-Skripte zur Verfügung.


Mit ETL@WORK

  • werden Metadaten automatisch aus Datenquellen ausgelesen,

  • wird einfach festgelegt, in welchem Umfang Tabellen oder Views übernommen werden, und

  • definiert, wie Stammdaten zu historisieren sind.

​Diese wenigen Schritte reichen bereits aus, um mit ETL@WORK sowohl alle Zielobjekte und Steuertabellen im Data Warehouse als auch die ETL-Prozesse und die Prozesssteuerung umzusetzen.


Einsatz von ETL@WORK im Data Warehouse:



​Vorteile von ETL@WORK​ im Data Warehouse:

  • ​​​Standardisierung und automatische Generierung der ETL-Jobs zur Befüllung der Staging- und Historisierungsschichten (EDW)
  • Anbindung verschiedenster Quellen an das DWH bis hin zur Historisierungsschicht in nur wenigen Tagen
  • Generierung neuer ETL-Jobs bei Veränderung der Quellen und/oder Anpassung der Anforderungen in kürzester Zeit
  • Einsparung von Entwicklungs-, Änderungs- und Testaufwand

​Für unsere Kunden sinkt damit deutlich der Aufwand bei der Befüllung der Staging- und Historisierungsschichten. Diese Zeit lässt sich effizienter nutzen für

  • eine umfangreichere Aufnahme und Analyse von technischen und fachlichen Anforderungen,
  • die Umsetzung von technischen und fachlichen Anforderungen oder
  • die Zusammenführung und Harmonisierung verschiedener Quellstrukturen in der Analyseschicht.
ETL@WORK wurde bereits erfolgreich in mehreren Projekten eingesetzt und steht unseren Kunden für die Quellsysteme SQL-Server, MySQL, IBM DB2, Oracle und Exasol zur Verfügung.​