Data Warehousing ArchiStruktur, Komponenten und Diagramm Concepts

Data Warehousing Concepts

A Data Warehouse Es dient dazu, einem Unternehmen eine einheitliche Datenbasis für Entscheidungsfindung und Prognosen zu bieten. Es handelt sich um ein Informationssystem, das historische und kumulative Daten aus einer oder mehreren Quellen enthält.

Indem ein Data Warehouse diese Daten für Analysen statt für Transaktionen organisiert, vereinfacht es die Berichts- und Analysearbeit einer gesamten Organisation.

Merkmale des Data Warehouse

Ein Data Warehouse besitzt vier charakteristische Merkmale, die es von einer herkömmlichen operativen Datenbank unterscheiden:

• Subjektorientiert
• Integriert
• Zeitunterschied
• Nicht flüchtig

Subjektorientiert

Ein Data Warehouse ist themenorientiert, da es Informationen zu einem bestimmten Thema liefert und nicht zu den laufenden Geschäftstätigkeiten eines Unternehmens. Typische Themen sind Vertrieb, Marketing und Distribution.

Statt der alltäglichen Datenverarbeitung liegt der Schwerpunkt des Data Warehouse auf Modellierung und Analyse zur Entscheidungsfindung. Es bietet eine einfache, prägnante Übersicht über jedes Thema und blendet Daten aus, die den Entscheidungsprozess nicht unterstützen.

Integriert

Integration ist eng mit der Themenorientierung verknüpft. In einem Data Warehouse bedeutet Integration, eine gemeinsame Maßeinheit für alle ähnlichen Daten aus unterschiedlichen Datenbanken festzulegen und diese Daten auf eine gemeinsame, allgemein akzeptable Weise zu speichern.

Ein Data Warehouse entsteht durch die Integration von Daten aus verschiedenen Quellen wie Mainframes, relationalen Datenbanken und Flatfiles. Dabei müssen außerdem einheitliche Namenskonventionen, Formate und Codierungen eingehalten werden.

Diese Konsistenz in Benennung, Attributmessung und Kodierungsstruktur ermöglicht eine effektive Analyse. Betrachten Sie folgendes Beispiel:

Im obigen Beispiel speichern drei Anwendungen mit den Bezeichnungen A, B und C jeweils Informationen zu Geschlecht, Datum und Kontostand, jedoch speichert jede Anwendung diese auf unterschiedliche Weise:

• Anwendung A speichert das Geschlechtsfeld als logische Werte wie M oder F.
• Anwendung B speichert das Feld „Geschlecht“ als numerischen Wert.
• Anwendung C speichert das Feld „Geschlecht“ als Zeichenwert.
• Die gleiche Variation gilt für die Felder Datum und Saldo.

Nach der Transformation und Bereinigung werden alle diese Daten in einem einheitlichen Format im Data Warehouse gespeichert.

Zeitunterschied

Der Zeithorizont eines Data Warehouse ist wesentlich größer als der eines operativen Systems. Die Daten werden einem bestimmten Zeitraum zugeordnet und bieten eine historische Perspektive, sodass sie immer ein Zeitelement beinhalten, sei es explizit oder implizit.

Eine Stelle, an der diese zeitliche Varianz auftritt, ist die Struktur des Datensatzschlüssels. Jeder Primärschlüssel im Data Warehouse sollte ein Zeitelement enthalten, wie beispielsweise Tag, Woche oder Monat.

Ein weiterer Aspekt der Zeitvarianz besteht darin, dass Daten, sobald sie in das Data Warehouse eingefügt sind, nicht mehr aktualisiert oder geändert werden können.

Nicht flüchtig

Ein Data Warehouse ist zudem nichtflüchtig, das heißt, ältere Daten werden nicht gelöscht, wenn neue Daten eintreffen. Die Daten sind schreibgeschützt und werden regelmäßig aktualisiert, was Analysten hilft, historische Daten zu untersuchen und zu verstehen, was wann passiert ist.

Da ein Data Warehouse keine Transaktionsverarbeitung, Datenwiederherstellung oder Zugriffskontrolle benötigt, entfallen die in einer operativen Anwendung üblichen Lösch-, Aktualisierungs- und Einfügevorgänge. Im Data Warehousing werden lediglich zwei Datenoperationen durchgeführt:

1. Daten werden geladen
2. Datenzugriff

Die folgende Tabelle verdeutlicht einige wesentliche Unterschiede zwischen einer operativen Anwendung und einem Data Warehouse:

Operationelle Anwendung	Data Warehousing
Um sicherzustellen, dass die Datenaktualisierungsprozesse die hohe Integrität des Endprodukts gewährleisten, müssen komplexe Programme codiert werden.	Dieses Problem tritt nicht auf, weil keine Datenaktualisierung durchgeführt wird.
Die Daten werden in normalisierter Form abgelegt, um minimale Redundanz zu gewährleisten.	Die Daten werden nicht in normalisierter Form gespeichert.
Die zur Bewältigung von Problemen wie Transaktionen, Datenwiederherstellung, Rollback und Auflösung von Deadlocks benötigte Technologie ist recht komplex.	Es bietet eine relativ einfache Technologie.

Data Warehousing Architektur

Data Warehousing ArchiDie Architektur ist komplex, da das System historische und kumulative Daten aus verschiedenen Quellen speichert. Es gibt drei Ansätze zum Aufbau der Data-Warehouse-Schichten: einschichtig, zweischichtig und dreischichtig.

Einschichtige Architektur Ziel ist es, die Menge der gespeicherten Daten durch die Beseitigung von Redundanz zu minimieren. In der Praxis wird es selten angewendet.

Zweischichtige Architektur Die physisch verfügbaren Datenquellen werden vom Data Warehouse getrennt. Das System ist nicht ohne Weiteres erweiterbar, unterstützt weniger Endbenutzer und kann aufgrund von Netzwerkbeschränkungen Verbindungsprobleme aufweisen.

Dreistufige Architektur ist das am weitesten verbreitete Design eines Data Warehouse.

Es besteht aus der oberen, mittleren und unteren Ebene:

1. Untere Stufe: Die Datenbank des Data Warehouse bildet die unterste Ebene. Üblicherweise handelt es sich um ein relationales Datenbanksystem, und die Daten werden mithilfe von Backend-Tools bereinigt, transformiert und in diese Ebene geladen.
2. Mittlere Stufe: Die mittlere Ebene ist ein OLAP-Server, der entweder nach dem ROLAP- oder dem MOLAP-Modell implementiert ist. Er stellt eine absolute Schnittstelle dar.tracSie bietet eine Sicht auf die Datenbank und fungiert als Vermittler zwischen dem Endbenutzer und der Datenbank.
3. Oberste Stufe: Die oberste Ebene ist eine Frontend-Clientschicht. Sie enthält die Tools und APIs, die zum Verbinden mit dem Data Warehouse und zum Abrufen von Daten verwendet werden, wie z. B. Abfragetools, Berichtstools, Tools für verwaltete Abfragen, Analysetools und Data-Mining-Tools.

Datawarehouse-Komponenten

Die Komponenten und die Gesamtarchitektur eines Data Warehouse arbeiten wie im folgenden Diagramm dargestellt zusammen.

Das Data Warehouse basiert auf einem RDBMS-Server, einem zentralen Informationsspeicher, der von Schlüsselkomponenten umgeben ist, die dafür sorgen, dass die gesamte Umgebung funktionsfähig, verwaltbar und zugänglich bleibt.

Ein Data Warehouse besteht aus fünf Hauptkomponenten, die im Folgenden beschrieben werden.

Data Warehouse-Datenbank

Die zentrale Datenbank bildet die Grundlage der Lagerumgebung und wird implementiert auf RDBMS Technologie. Da ein traditionelles RDBMS eher auf Transaktionsverarbeitung als auf Data Warehousing ausgelegt ist, können ressourcenintensive Operationen wie Ad-hoc-Abfragen, Joins über mehrere Tabellen und Aggregationen es verlangsamen.

Aus diesem Grund werden alternative Datenbankansätze verwendet:

• Relationale Datenbanken werden parallel eingesetzt, um Skalierbarkeit zu ermöglichen. Dabei kommen Shared-Memory- oder Shared-Nothing-Modelle auf verschiedenen Multiprozessor- oder massiv parallelen Konfigurationen zum Einsatz.
• Neue Indexstrukturen werden verwendet, um relationale Tabellenscans zu umgehen und die Geschwindigkeit zu verbessern.
• Multidimensionale Datenbanken (MDDBs) werden eingesetzt, um die Einschränkungen relationaler Data-Warehouse-Modelle zu überwinden. Ein Beispiel hierfür ist Essbase. Oracle.

Beschaffungs-, Akquisitions-, Bereinigungs- und Transformationstools (ETL)

Die Tools für Datenbeschaffung, -transformation und -migration führen alle Konvertierungen, Zusammenfassungen und Änderungen durch, die erforderlich sind, um Daten in ein einheitliches Warehouse-Format zu überführen. Sie werden auch als Ex bezeichnet.tract, Transform, and Load (ETL)-Tools.

Ihre Funktionalität umfasst Folgendes:

• Anonymisieren von Daten nach regulatorischen Vorgaben.
• Entfernen Sie unerwünschte Daten aus den operativen Datenbanken, bevor Sie diese in das Lager laden.
• Suchen und ersetzen Sie gebräuchliche Namen und Definitionen für Daten aus verschiedenen Quellen.
• Berechnen Sie Zusammenfassungen und abgeleitete Daten.
• Fehlende Daten mit Standardwerten auffüllen.
• Doppelte Daten aus verschiedenen Quellen entfernen.

Diese ETL-Tools kann Cronjobs, Hintergrundprozesse, Cobol-Programme und Shell-Skripte generieren, die das Data Warehouse regelmäßig aktualisieren und zur Pflege der Metadaten beitragen.

Da ETL-Tools Daten aus vielen verschiedenen Systemen abrufen, müssen sie auch mit der Heterogenität von Datenbanken und Daten zurechtkommen.

Metadaten

Metadaten klingen vielleicht kompliziert, sind aber einfach Daten über Daten, die das Data Warehouse definieren. Sie dienen dem Aufbau, der Pflege und der Verwaltung des Data Warehouse.

Innerhalb der Architektur spezifizieren Metadaten die Quelle, die Verwendung, die Werte und die Merkmale der Daten und definieren, wie die Daten geändert und verarbeitet werden können, sodass sie eng mit dem Data Warehouse verbunden bleiben.

Eine Zeile in einer Verkaufsdatenbank könnte beispielsweise Folgendes enthalten:

4030 KJ732 299.90

Dies ist bedeutungslos, solange die Metadaten nicht erklären, dass es sich um die Modellnummer 4030, die Vertriebsagenten-ID KJ732 und einen Gesamtumsatz von 299.90 US-Dollar handelt.

Metadaten sind daher ein wesentlicher Bestandteil bei der Umwandlung von Daten in Wissen und helfen bei der Beantwortung von Fragen wie:

• Welche Tabellen, Attribute und Schlüssel enthält das Data Warehouse?
• Woher kamen die Daten?
• Wie oft werden die Daten neu geladen?
• Welche Transformations- und Reinigungsprozesse wurden durchgeführt?

Metadaten lassen sich in zwei Kategorien einteilen:

1. Technische Metadaten: Dies beschreibt das Lager für die Designer und Administratoren, die es aufbauen und betreiben.
2. Geschäftsmetadaten: Dies bietet den Endnutzern eine einfache Möglichkeit, die im Lager gespeicherten Informationen zu verstehen.

Abfragetools

Ein Hauptziel von Data Warehousing ist es, Unternehmen die Informationen bereitzustellen, die sie für strategische Entscheidungen benötigen, und Abfragetools sind das Mittel, mit dem Benutzer mit dem System interagieren.

Diese Werkzeuge lassen sich in vier Kategorien einteilen:

1. Abfrage- und Berichterstellungstools
2. Tools zur Anwendungsentwicklung
3. Data-Mining-Tools
4. OLAP-Tools

Abfrage- und Berichtstools

Abfrage- und Berichtswerkzeuge lassen sich in zwei Gruppen unterteilen: Berichtswerkzeuge und verwaltete Abfragewerkzeuge.

Berichterstellungstools weiter unterteilt in Produktionsberichtswerkzeuge und Desktop-Berichtsersteller:

1. Berichtsverfasser: Diese sind für Endnutzer konzipiert, die ihre eigenen Analysen erstellen.
2. Produktionsberichterstattung: Diese ermöglichen es Unternehmen, regelmäßig Betriebsberichte zu erstellen und umfangreiche Stapelverarbeitungsaufgaben wie Drucken und Berechnen zu unterstützen. Bekannte Beispiele sind Brio und Business Objects. Oracle, PowerSoft und SAS Institute.

Verwaltete Abfragetools Die Unterstützung der Endbenutzer erfolgt durch das Einfügen einer Metaschicht zwischen Benutzer und Datenbank, welche die Komplexität von SQL und Datenbankstruktur verbirgt.

Tools zur Anwendungsentwicklung

Wenn die integrierten grafischen und analytischen Werkzeuge einer Organisation deren analytische Bedürfnisse nicht erfüllen können, werden mithilfe von Anwendungsentwicklungswerkzeugen benutzerdefinierte Berichte erstellt.

Data-Mining-Tools

Data Mining entdeckt aussagekräftige neue Korrelationen, Muster und Trends in großen Datenmengen, und Data-Mining-Tools automatisieren diesen Entdeckungsprozess.

OLAP-Tools

OLAP Die Tools basieren auf einer multidimensionalen Datenbank und ermöglichen es den Benutzern, Daten mithilfe komplexer, multidimensionaler Ansichten zu analysieren.

Data Warehouse Bus Architektur

Der Data-Warehouse-Bus bestimmt den Datenfluss innerhalb des Data Warehouse. Dieser Fluss lässt sich in Zufluss, Aufwärtsfluss, Abwärtsfluss, Abwärtsfluss und Meta-Fluss kategorisieren.

Bei der Konzeption des Busses müssen die gemeinsamen Dimensionen und Fakten berücksichtigt werden, die sich über Data Marts erstrecken.

Datamarts

A Datamart Ein Data Mart ist eine Zugriffsschicht, die zur Bereitstellung von Daten für Benutzer dient. Er eignet sich für große Data-Warehouses, da sein Aufbau weniger Zeit und Kosten in Anspruch nimmt, obwohl es keine einheitliche Definition für einen Data Mart gibt.

Vereinfacht ausgedrückt ist ein Data Mart ein Teilbereich eines Data Warehouse. Er partitioniert Daten für eine bestimmte Benutzergruppe und kann sich in derselben Datenbank wie das Warehouse oder in einer physisch getrennten Datenbank befinden.

Data Warehousing Archistruktur Best Practices

Um eine solide Data-Warehouse-Architektur zu entwerfen, sollten Sie die folgenden Best Practices befolgen:

• Verwenden Sie Data-Warehouse-Modelle, die für den Informationsabruf optimiert sind, egal ob dimensional, denormalisierter oder hybrider Ansatz.
• Wählen Sie einen geeigneten Designansatz, ob Top-Down oder Bottom-Up.
• Stellen Sie sicher, dass die Daten schnell und präzise verarbeitet und zu einer einzigen, verlässlichen Datenbasis zusammengeführt werden.
• Den Datenerfassungs- und -bereinigungsprozess für das Data Warehouse sorgfältig konzipieren.
• Entwerfen Sie eine Metadatenarchitektur, die es ermöglicht, Metadaten zwischen den Komponenten des Data Warehouse auszutauschen.
• Betrachten Sie eine OperaNationales Datenspeichermodell (ODS), wenn die Abrufanforderungen nahe am unteren Ende der Datenabstraktion liegentraction pyramidal oder wenn auf mehrere operative Quellen zugegriffen werden muss.
• Stellen Sie sicher, dass das Datenmodell integriert und nicht nur konsolidiert wird; verwenden Sie in diesem Fall ein 3NF-Datenmodell, das sich auch ideal für die Anschaffung von ETL- und Datenbereinigungstools eignet.

Häufig gestellte Fragen