Was ist ein Data Warehouse? Arten

Was ist Data Warehousing?

Data Warehousing (DW) Data-Intelligence (BI) ist der Prozess des Sammelns und Verwaltens von Daten aus verschiedenen Quellen, um aussagekräftige Geschäftseinblicke zu gewinnen. Ein Data Warehouse dient typischerweise dazu, Geschäftsdaten aus heterogenen Quellen zu verknüpfen und zu analysieren und bildet das Herzstück jedes Business-Intelligence-Systems (BI), das für Datenanalyse und Reporting entwickelt wurde.

Data Warehousing ist eine Kombination aus Technologien und Komponenten, die die strategische Nutzung von Daten unterstützt. Es handelt sich um die elektronische Speicherung großer Mengen an Geschäftsinformationen, die für Abfragen und Analysen und nicht für die Transaktionsverarbeitung konzipiert ist. Das Data Warehouse wandelt Rohdaten in nutzbare Informationen um und stellt diese den Nutzern rechtzeitig zur Verfügung, damit diese wichtige Entscheidungen treffen können.

Eine Entscheidungsunterstützungsdatenbank (das Data Warehouse) wird getrennt von der operativen Datenbank einer Organisation geführt. Das Data Warehouse ist kein Produkt, sondern eine Umgebung – ein architektonisches Konstrukt eines Informationssystems, das Benutzern aktuelle und historische Entscheidungsunterstützungsinformationen bereitstellt, die in einem herkömmlichen operativen Datenspeicher schwer zugänglich oder darstellbar sind.

Wie Sie vielleicht wissen, enthält eine nach der 3NF-Normalisierung entworfene Datenbank für ein Warenwirtschaftssystem typischerweise viele miteinander verknüpfte Tabellen. Beispielsweise kann ein Bericht über den aktuellen Lagerbestand mehr als 12 Verknüpfungsbedingungen erfordern, was die Antwortzeiten von Abfragen und Berichten verlangsamt. Ein Data Warehouse bietet hingegen ein denormalisiertes Design, das die Antwortzeiten reduziert und die Performance für Berichte und Analysen verbessert.

Das Data-Warehouse-System ist auch unter folgenden Bezeichnungen bekannt:

• Entscheidungsunterstützungssystem (DSS)
• Führungskräfteinformationssystem
• Management Informationssystem
• Business-Intelligence-Lösung
• Analytische Anwendung
• Data Warehousing

Geschichte des Data Warehouse

Das Data Warehouse hilft Nutzern, die Leistung ihrer Organisation zu verstehen und zu verbessern. Der Bedarf an Datenspeicherung entstand mit der zunehmenden Komplexität von Computersystemen und der Verarbeitung stetig wachsender Datenmengen. Data Warehousing ist kein neues Konzept – es hat eine lange Entwicklungsgeschichte.

Hier einige der wichtigsten Ereignisse in der Entwicklung des Data Warehouse:

• 1960 — Dartmouth und General Mills entwickeln in einem gemeinsamen Forschungsprojekt die Begriffe „Dimensionen“ und „Fakten“.
• 1970 — AC Nielsen und IRI stellen dimensionale Data Marts für den Einzelhandel vor.
• 1983 — Die Teradata Corporation stellt ein Datenbankmanagementsystem vor, das speziell für die Entscheidungsunterstützung entwickelt wurde.
• Ende der 1980er Jahre - IBM Die Forscher Paul Murphy und Barry Devlin entwickeln das Konzept des Business Data Warehouse.
• Die moderne Vision des Data Warehouse wird zugeschrieben an Bill InmonEr wird oft als „Vater des Data Warehouse“ bezeichnet. Er verfasste grundlegende Werke über den Aufbau, die Nutzung und die Wartung des Data Warehouse und der Corporate Information Factory.

Wie funktioniert ein Data Warehouse?

Ein Data Warehouse fungiert als zentrales Repository, in dem Informationen aus einer oder mehreren Datenquellen zusammenlaufen. Daten fließen aus Transaktionssystemen und anderen relationalen Datenbanken in das Warehouse.

Die eingehenden Daten können Folgendes sein:

1. Strukturierte
2. Halbstrukturiert
3. Unstrukturiert

Die Daten werden verarbeitet, transformiert und integriert, sodass Benutzer über Business-Intelligence-Tools, SQL-Clients und Tabellenkalkulationen auf den aufbereiteten Datensatz zugreifen können. Ein Data Warehouse führt Informationen aus verschiedenen Quellen in einer umfassenden Datenbank zusammen.

Durch die Zusammenführung all dieser Informationen an einem Ort kann ein Unternehmen seine Kunden ganzheitlich analysieren und sicherstellen, dass es alle verfügbaren Datenpunkte berücksichtigt hat. Data Warehousing ermöglicht Data Mining – Data Mining sucht nach Mustern in den Daten, die zu höheren Umsätzen, niedrigeren Kosten und besseren Prognosen führen.

Arten von Data Warehouse

Die drei Haupttypen von Data Warehouses (DWH) sind:

1. Enterprise Data Warehouse (EDW):

Ein Enterprise Data Warehouse ist ein zentrales Datenlager, das unternehmensweit Entscheidungshilfen bereitstellt. Es bietet einen einheitlichen Ansatz zur Organisation und Darstellung von Daten und ermöglicht deren Klassifizierung nach Themen sowie die entsprechende Zugriffssteuerung.

2. OperaNationaler Datenspeicher (ODS):

An OperaEin Online-Datenspeicher (ODS) wird eingesetzt, wenn weder ein Data Warehouse noch OLTP-Systeme die Berichtsanforderungen des Unternehmens erfüllen können. In einem ODS werden die Daten in Echtzeit aktualisiert, wodurch er sich ideal für Routineaufgaben wie die Speicherung aktueller Mitarbeiterdatensätze eignet.

3. Data Mart:

A Datenmarkt Ein unabhängiger Data Mart ist eine Teilmenge des Data Warehouse, die für einen bestimmten Geschäftsbereich wie Vertrieb, Finanzen oder Marketing konzipiert ist. In einem unabhängigen Data Mart können Daten direkt aus Quellsystemen erfasst werden.

Allgemeine Phasen eines Data Warehouse

Anfangs nutzten Unternehmen Data Warehousing in relativ einfachen Formen. Im Laufe der Zeit entwickelten sich komplexere Nutzungsmuster. Die folgenden Punkte beschreiben die allgemeinen Phasen der Data-Warehouse-Nutzung (DWH):

Offline OperaNationale Datenbank:

Daten werden von einem Betriebssystem auf einen anderen Server kopiert. Das Laden, Verarbeiten und Berichten der kopierten Daten beeinträchtigt die Leistung des Betriebssystems nicht.

Offline-Data Warehouse:

Die Daten im Data Warehouse werden regelmäßig aus der operativen Datenbank aktualisiert. Die Daten werden abgebildet und transformiert, um die Ziele des Data Warehouse zu erreichen.

Echtzeit-Data-Warehouse:

Data-Warehouses werden immer dann aktualisiert, wenn eine Transaktion in der operativen Datenbank stattfindet. Buchungssysteme von Fluggesellschaften und Bahnunternehmen sind klassische Beispiele dafür.

Integriertes Data Warehouse:

Data Warehouses werden kontinuierlich aktualisiert, wenn operative Systeme Transaktionen durchführen. Das Data Warehouse generiert dann Transaktionen, die an das operative System zurückgesendet werden.

Komponenten eines Data Warehouse

Die vier Komponenten eines Data Warehouse sind:

Lastmanager: Der auch als Frontkomponente bezeichnete Load Manager verarbeitet alle mit ex verbundenen Operationen.tracDie Daten werden in das Data Warehouse geladen und dort eingespielt. Zu diesen Vorgängen gehören die Transformationen, die die Daten für die Eingabe in das Data Warehouse vorbereiten.

Lagerhausmanager: Der Warehouse Manager führt Operationen durch, die mit der Datenverwaltung innerhalb des Data Warehouse verbunden sind. Er analysiert Daten, um Konsistenz sicherzustellen, erstellt Indizes und Sichten, generiert Denormalisierungen und Aggregationen, transformiert und führt Quelldaten zusammen und archiviert oder sichert Daten.

Abfragemanager: Der auch als Backend-Komponente bekannte Abfragemanager verarbeitet Operationen im Zusammenhang mit Benutzerabfragen. Er leitet Abfragen an die entsprechenden Tabellen weiter und plant deren Ausführung.

Endbenutzer-Zugriffstools:

Diese Werkzeuge lassen sich in fünf Gruppen einteilen: 1) Datenberichtswerkzeuge, 2) Abfragewerkzeuge, 3) Werkzeuge zur Anwendungsentwicklung, 4) EIS-Werkzeuge und 5) OLAP-Werkzeuge. Data Mining-Werkzeuge.

Wer braucht ein Data Warehouse?

Ein Data Warehouse (DWH) wird für alle Benutzertypen benötigt, darunter:

• Entscheidungsträger, die auf große Datenmengen angewiesen sind.
• Nutzer, die individuell angepasste, komplexe Prozesse durchführen, um Informationen aus verschiedenen Quellen zu kombinieren.
• Menschen, die unkomplizierte und reibungslose Technologie für den Datenzugriff wünschen.
• Teams, die einen systematischen, wiederholbaren Ansatz zur Entscheidungsfindung wünschen.
• Für Nutzer, die eine schnelle Performance bei riesigen Datensätzen für Berichte, Dashboards, Tabellen oder Diagramme benötigen.
• Analysten, die verborgene Muster in Datenflüssen und Gruppen aufdecken möchtenpings.

Wofür wird ein Data Warehouse verwendet?

Nachfolgend sind die häufigsten Sektoren aufgeführt, in denen Data Warehouses eingesetzt werden:

Fluggesellschaft:

In der Luftfahrtindustrie unterstützen Data Warehouses die Crew-Einteilung, die Analyse der Streckenrentabilität, die Promotion von Vielfliegerprogrammen und ähnliche operative Entscheidungen.

Banking:

Data Warehouses werden im Bankwesen häufig zur effizienten Verwaltung von Ressourcen eingesetzt. Viele Banken nutzen sie auch für Marktforschung, Produktleistungsanalysen und die operative Planung.

Gesundheitswesen:

Im Gesundheitswesen werden Data Warehouses eingesetzt, um Strategien zu entwickeln und Ergebnisse vorherzusagen, Patientenbehandlungsberichte zu erstellen und Daten mit Versicherungspartnern und medizinischen Hilfsdiensten auszutauschen.

Öffentlicher Sektor:

Im öffentlichen Sektor unterstützen Data Warehouses die Informationsbeschaffung und helfen Regierungsbehörden bei der Pflege und Analyse von Steuer- und Gesundheitsdaten für jeden Einzelnen.

Investitionen und Versicherungen:

In diesem Sektor werden Lagerhäuser genutzt, um Datenmuster, Kundentrends und Marktbewegungen zu analysieren.

Einzelhandelsketten:

Einzelhandelsketten nutzen Data Warehouses für Vertrieb und Marketing, um track Artikel und Kundenkaufmuster analysieren, Werbeaktionen planen und die Preispolitik festlegen.

Telekommunikation:

Telekommunikationsunternehmen nutzen Data Warehouses für Produktwerbung, Vertriebsentscheidungen und Distributionsentscheidungen.

Gastgewerbe:

Die Hotel- und Gastgewerbebranche nutzt Data Warehouses, um Werbe- und Marketingkampagnen zu entwerfen und zu kalkulieren, die auf Kundenfeedback und Reisemustern basieren.

Schritte zur Implementierung eines Data Warehouse

Die beste Methode zur Bewältigung der mit der Implementierung eines Data Warehouse verbundenen Geschäftsrisiken besteht darin, eine dreigleisige Strategie zu verfolgen:

1. Unternehmensstrategie: Identifizieren Sie die aktuelle technische Architektur und die verwendeten Tools sowie die Fakten, Dimensionen und Attribute, die das Data Warehouse unterstützen muss. Datenzuordnungping und Transformation sind Teil dieser Phase.
2. Phasenweise Lieferung: Das Data Warehouse sollte phasenweise, themenbezogen, implementiert werden. Zugehörige Geschäftseinheiten wie Buchung und Abrechnung sollten zuerst bereitgestellt und anschließend integriert werden.
3. Iterative Prototypenping: Anstatt einer radikalen Implementierung sollte das Data Warehouse iterativ entwickelt, getestet und verfeinert werden.

Hier sind die wichtigsten Schritte bei der Implementierung eines Data Warehouse sowie die dazugehörigen Ergebnisse:

Schritt	Aufgaben	Leistungen
1	Definieren Sie den Projektumfang	Bereich Definition
2	Geschäftsbedarf ermitteln	Logisches Datenmodell
3	Definierung OperaAnforderungen an den nationalen Datenspeicher	OperaNationales Datenspeichermodell
4	Erwerben oder entwickeln Sie ErfahrungtracWerkzeuge für die Konversion	ExtracWerkzeuge und Software
5	Definition der Datenanforderungen für das Data Warehouse	Übergangsdatenmodell
6	Dokumentieren Sie fehlende Daten	Aufgabenliste
7	Karte Operanationalen Datenspeicher zum Data Warehouse	DW-Datenintegrationskarte
8	Entwicklung eines Data-Warehouse-Datenbankdesigns	DW-Datenbankdesign
9	Extract-Daten von Operationaler Datenspeicher	Integrierte DW-Daten Extracts
10	Laden Sie das Data Warehouse	Erstmaliges Laden der Daten
11	Pflege des Data Warehouse	Laufender Datenzugriff und nachfolgende Ladevorgänge

Best Practices für die Implementierung eines Data Warehouse

• Erstellen Sie einen Plan, um die Konsistenz, Genauigkeit und Integrität der Daten zu prüfen.
• Das Data Warehouse muss gut integriert, klar definiert und mit einem Zeitstempel versehen sein.
• Bei der Konzeption des Data Warehouse sollten Sie das richtige Werkzeug verwenden, den Lebenszyklus einhalten, Datenkonflikte frühzeitig angehen und aus Fehlern lernen.
• Betriebssysteme und Betriebsberichte dürfen niemals durch das Lager ersetzt werden.
• Verbringen Sie nicht übermäßig viel Zeit mit ExtracDatenverarbeitung, -bereinigung und -ladung – wo immer möglich automatisieren.
• Beziehen Sie alle Beteiligten, einschließlich der Fachabteilungen, in die Implementierung des Data Warehouse ein. Behandeln Sie das Data Warehouse als Gemeinschaftsprojekt, damit es für die Endnutzer weiterhin nützlich ist.
• Bereiten Sie einen Schulungsplan für die Endbenutzer vor.

Vorteile und Nachteile eines Data Warehouse

Vorteile eines Data Warehouse (DWH):

• Geschäftsanwender können schnell auf wichtige Daten aus vielen Quellen an einem zentralen Ort zugreifen.
• Gewährleistet konsistente Informationen über alle funktionsübergreifenden Aktivitäten hinweg und unterstützt Ad-hoc-Berichte und -Abfragen.
• Integriert mehrere Datenquellen, wodurch die Belastung der Produktionssysteme reduziert wird.
• Verkürzt die gesamte Bearbeitungszeit für Analyse und Berichterstellung.
• Durch Umstrukturierung und Integration werden Berichtswesen und Analysen für den Endnutzer einfacher.
• Spart dem Benutzer Zeit, da die Daten nicht mehr aus mehreren Quellen abgerufen werden müssen.
• Speichert große Mengen historischer Daten, was Trendanalysen und Zukunftsprognosen ermöglicht.

Nachteile eines Data Warehouse:

• Keine ideale Option für unstrukturierte Daten.
• Die Erstellung und Implementierung ist zeitaufwändig.
• Data Warehouses können ohne aktive Wartung relativ schnell veralten.
• Änderungen an Datentypen, Bereichen, Quellschemata, Indizes oder Abfragen sind schwierig.
• Das Data Warehouse mag auf den ersten Blick einfach erscheinen, ist aber für den Durchschnittsnutzer komplex.
• Trotz größter Bemühungen erweitert sich der Projektumfang tendenziell während der Umsetzung.
• Unterschiedliche Geschäftsbereiche entwickeln mitunter widersprüchliche Geschäftsregeln.
• Organisationen müssen erhebliche Ressourcen für Schulung und Einführung bereitstellen.

Die Zukunft des Data Warehousing

• Regulatorische Einschränkungen kann die Möglichkeit einschränken, unterschiedliche Datenquellen zu kombinieren, einschließlich unstrukturierter Daten, die schwieriger zu speichern und zu verwalten sind.
• Da der Größe Mit dem Wachstum der Datenbanken verschiebt sich die Definition einer sehr großen Datenbank ständig nach oben, und der Bau und Betrieb von Datenspeichern in diesem Umfang wird immer komplexer.
• Multimediale Daten Rich Media lässt sich nicht so einfach manipulieren wie Text. Relationale Datenbanken verarbeiten Textinformationen gut, aber Rich Media bleibt ein aktives Forschungsgebiet.

Data Warehouse-Tools

Auf dem Markt sind zahlreiche Data-Warehousing-Tools erhältlich. Hier sind einige der bekanntesten:

1. MarkLogic:

MarkLogic ist eine Data-Warehousing-Lösung, die die Datenintegration durch eine Vielzahl von Unternehmensfunktionen vereinfacht und beschleunigt. Sie führt komplexe Suchvorgänge durch und kann Dokumente, Beziehungen und Metadaten abfragen.

2. Oracle:

Oracle ist die branchenführende Datenbank. Sie bietet eine breite Palette von Data-Warehouse-Lösungen für On-Premise- und Cloud-Bereitstellungen und trägt zur Optimierung des Kundenerlebnisses durch die Verbesserung der betrieblichen Effizienz bei.

3. Amazon Rotverschiebung:

Amazon Redshift ist ein Data-Warehouse-Service, der einfach und kostengünstig Datenanalysen mit Standardfunktionen ermöglicht. SQL und bestehenden BI-Tools. Es führt komplexe Abfragen auf Petabytes strukturierter Daten mithilfe von Abfrageoptimierungstechniken durch.

Hier ist eine vollständige Liste nützlicher Data Warehouse-Tools.

Häufig gestellte Fragen