Was ist Data Mart im Data Warehouse? Typen und Beispiele

โšก Intelligente Zusammenfassung

Das Data-Mart-Design stellt einer Abteilung eine fokussierte Teilmenge der Data-Warehouse-Informationen zur Verfรผgung und umfasst die drei Data-Mart-Typen, die fรผnf Phasen vom Design bis zum Management sowie die Best Practices, die eine schnelle, sichere und kosteneffektive Bereitstellung gewรคhrleisten.

  • ๐ŸŽฏ Definition: Ein Data Mart ist eine themenorientierte Teilmenge eines Data Warehouse, die fรผr eine bestimmte Abteilung wie Vertrieb, Marketing, Personalwesen oder Finanzen erstellt wird.
  • ๐Ÿงฉ Markttypen: Abhรคngige Mรคrkte beziehen ihre Waren aus einem Zentrallager, unabhรคngige Mรคrkte beziehen sie direkt aus den operativen Systemen, und Hybridmรคrkte kombinieren beides.
  • โš™๏ธ Implementierungsphasen: Der Aufbau eines Data Marts umfasst die Schritte Design, Konstruktion, Befรผllung, Zugriff und Verwaltung.
  • ???? ETL und RDBMS: Ein RDBMS speichert den Daten-Mart, wรคhrend ein ETL-Tool beispielsweise Daten abbildet.tracts transformiert, bereinigt und lรคdt Quelldaten sowie Metadaten.
  • ๐Ÿ“Š Dimensionsdesign: Die Modellierung von Daten anhand eines Sternschemas beschleunigt Abfragen und vereinfacht die Berichterstellung fรผr Geschรคftsanwender.
  • ๐Ÿ’ก Auswirkungen auf das Geschรคft: Ein kleinerer Umfang bedeutet schnellere Abfragen, geringere Kosten, strengere Zugriffskontrolle und schnellere Lieferung als ein komplettes Lager.
  • ๐Ÿงญ Best Practice: Halten Sie den Lieferzyklus auf wenige Wochen begrenzt, budgetieren Sie Hardware und Netzwerk und beziehen Sie alle Beteiligten frรผhzeitig ein.

Data Mart in einem Data Warehouse, der abhรคngige, unabhรคngige und hybride Data Marts darstellt.

Ein Data Mart bringt die analytische Leistungsfรคhigkeit eines Data Warehouse Einem einzelnen Team. Durch die Fokussierung auf ein Themengebiet kann eine Abteilung ihre eigenen Daten schnell analysieren, ohne auf unternehmensweite Workloads warten zu mรผssen. In den folgenden Abschnitten wird erlรคutert, was ein Data Mart ist, warum Unternehmen ihn einsetzen, welche drei Typen es gibt und wie man ihn implementiert und verwaltet.

Was ist DataMart?

Ein Data Mart konzentriert sich auf einen einzelnen Funktionsbereich einer Organisation und enthรคlt eine Teilmenge der in einem Data WarehousingEs handelt sich um eine komprimierte Version eines Data Warehouse, die fรผr die Nutzung durch eine bestimmte Abteilung, Einheit oder Benutzergruppe konzipiert ist โ€“ beispielsweise Marketing, Vertrieb, Personalwesen oder Finanzen.

Da ein Data Mart nur einer einzigen Funktion dient, wird er รผblicherweise von einer einzelnen Abteilung innerhalb des Unternehmens verwaltet. Diese Fokussierung hรคlt seinen Umfang begrenzt und die Zustรคndigkeiten klar.

Ein Data Mart bezieht Daten nur aus wenigen Quellen, im Gegensatz zu einem Data Warehouse, das viele Datenquellen integriert. Daher sind Data Marts klein und deutlich flexibler als ein vollstรคndiges Data Warehouse.

Warum brauchen wir Data Mart?

Organisationen nutzen Data Marts aus mehreren praktischen Grรผnden:

  • Ein Data Mart verbessert die Antwortzeit der Benutzer, indem er das Volumen der abzufragenden Daten reduziert.
  • Es bietet einfachen Zugriff auf hรคufig angeforderte Daten.
  • Ein Data Mart ist einfacher und kostengรผnstiger zu implementieren als ein unternehmensweites Data Warehouse.
  • Es ist agil: Wenn sich das Modell รคndert, kann schnell ein kleinerer Data Mart neu aufgebaut werden.
  • Ein Data Mart wird von einem einzelnen Fachexperten definiert, wohingegen ein Data Warehouse von einem interdisziplinรคren Team definiert wird; daher ist ein Mart offener fรผr Verรคnderungen.
  • Die Daten werden partitioniert, was sehr differenzierte Zugriffsrechte ermรถglicht.
  • Daten kรถnnen segmentiert und auf verschiedenen Hardware- oder Softwareplattformen gespeichert werden.

Kurz gesagt: Da ein Data Mart nur einen kleineren, klar definierten Datenausschnitt verarbeitet, ist er schneller aufzubauen, kostengรผnstiger zu betreiben und einfacher zu sichern als ein Enterprise Data Warehouse.

Data Marts sind jedoch nicht alle auf die gleiche Weise aufgebaut. Die Datenquelle, aus der ein Mart seine Daten bezieht, bestimmt, mit welchem โ€‹โ€‹der drei Typen man arbeitet.

Arten von Data Mart

Es gibt drei Haupttypen von Data Marts, die sich dadurch unterscheiden, woher sie ihre Daten beziehen:

  1. Abhรคngig: Abhรคngige Data Marts beziehen Daten direkt aus operativen Quellen, externen Quellen oder beidem.
  2. Unabhรคngig: Es wird ein unabhรคngiger Data Mart ohne zentrales Data Warehouse erstellt.
  3. Hybrid: Ein hybrider Data Mart kann Daten aus Data Warehouses oder operativen Systemen beziehen.

Abhรคngiger Data Mart

Ein abhรคngiger Data Mart bezieht die Daten einer Organisation aus einem zentralen Data Warehouse und bietet dadurch den Vorteil der Zentralisierung. Wenn Sie einen oder mehrere physische Data Marts erstellen mรผssen, konfigurieren Sie diese als abhรคngige Data Marts.

Ein abhรคngiger Data Mart lรคsst sich auf zwei Arten aufbauen: Entweder greifen Benutzer je nach Bedarf sowohl auf den Data Mart als auch auf das Data Warehouse zu, oder der Zugriff ist ausschlieรŸlich auf den Data Mart beschrรคnkt. Der zweite Ansatz ist nicht optimal, da er zu einem โ€žDatenmรผllhaufenโ€œ fรผhren kann โ€“ Daten, die zwar aus einer gemeinsamen Quelle stammen, aber anschlieรŸend verworfen und grรถรŸtenteils ungenutzt bleiben.

Abhรคngiger Data Mart, der Daten aus einem einzigen Data Warehouse bezieht
Abhรคngiger Data Mart

Unabhรคngiger Data Mart

Ein unabhรคngiger Data Mart wird ohne zentrales Data Warehouse erstellt. Diese Art von Data Mart ist eine ideale Option fรผr kleinere Gruppen innerhalb einer Organisation.

Ein unabhรคngiger Data Mart steht in keiner Verbindung zu einem Enterprise Data Warehouse oder anderen Data Marts. Seine Daten werden eigenstรคndig geladen und analysiert. Dieser Ansatz widerspricht dem Hauptgrund fรผr den Aufbau eines Data Warehouse: einem konsistenten, zentralen Speicher fรผr Unternehmensdaten, der von vielen Nutzern mit unterschiedlichen Interessen analysiert werden kann.

Unabhรคngiger Data Mart ohne zentrales Data Warehouse erstellt

Unabhรคngiger Data Mart

Hybrider Datenmarkt

Ein hybrider Data Mart kombiniert Daten aus Quellen auรŸerhalb des Data Warehouse. Dies ist hilfreich, wenn eine Ad-hoc-Integration erforderlich ist โ€“ beispielsweise nach der Hinzufรผgung einer neuen Gruppe oder eines neuen Produkts zum Unternehmen.

Es eignet sich hervorragend fรผr Umgebungen mit mehreren Datenbanken und ermรถglicht eine schnelle Implementierung bei minimalem Aufwand fรผr die Datenbereinigung. Ein hybrider Data Mart unterstรผtzt zudem groรŸe Speicherstrukturen und ist ideal fรผr kleinere, datenzentrierte Anwendungen.

Hybrid Data Mart kombiniert ein Data Warehouse mit anderen Datenquellen

Hybrider Datenmarkt

Schritte zur Implementierung eines Datamarts

Die fรผnf Schritte zur Implementierung eines Data Marts

Schritte zur Implementierung eines Datamarts

Die Implementierung eines Data Marts ist ein lohnender, aber detaillierter Prozess. Er durchlรคuft fรผnf Phasen โ€“ Entwurf, Aufbau, Befรผllung, Zugriff und Verwaltung โ€“, die im Folgenden jeweils beschrieben werden.

Entwerfen

Die Konzeption ist die erste Phase der Data-Mart-Implementierung. Sie umfasst alle Aufgaben von der ersten Anfrage fรผr einen Data Mart รผber die Anforderungserhebung bis hin zum logischen und physischen Data-Mart-Design.

Der Entwurfsschritt umfasst die folgenden Aufgaben:

  • Erfassung der geschรคftlichen und technischen Anforderungen sowie Identifizierung von Datenquellen.
  • Auswahl der geeigneten Datenteilmenge.
  • Entwerfen der logischen und physischen Struktur des Data Mart.

Die Daten kรถnnen anhand der folgenden Kriterien partitioniert werden:

  • Datum
  • Geschรคfts- oder Funktionseinheit
  • Geografie
  • Beliebige Kombination der oben genannten

Daten kรถnnen auf Anwendungs- oder DBMS-Ebene partitioniert werden, wobei die Partitionierung auf Anwendungsebene empfohlen wird, da sie jedes Jahr ein anderes Datenmodell ermรถglicht, um den sich รคndernden Geschรคftsbedingungen gerecht zu werden. Die meisten Data Marts basieren auf einem dimensionales Modellbeispielsweise ein Sternschema, um Abfragen schnell zu halten.

Welche Produkte und Technologien benรถtigen Sie?

Fรผr diese Phase genรผgen Stift und Papier. Tools, die Ihnen bei der Erstellung von UML- oder Entity-Relationship-Diagrammen helfen, kรถnnen Ihren logischen und physischen Entwรผrfen auch Metadaten hinzufรผgen.

Konstruieren

Die Konstruktion ist die zweite Phase der Implementierung. Sie umfasst die Erstellung der physischen Datenbank und der logischen Strukturen.

Dieser Schritt umfasst folgende Aufgabe:

  • Die in der vorherigen Phase entworfene physische Datenbank wird implementiert โ€“ beispielsweise durch die Erstellung von Schemaobjekten wie Tabellen, Indizes und Sichten.

Welche Produkte und Technologien benรถtigen Sie?

Sie benรถtigen ein relationales Datenbankmanagementsystem (RDBMS), um einen Data Mart zu erstellen. Ein RDBMS bietet mehrere Funktionen, die fรผr den Erfolg eines Data Marts unerlรคsslich sind:

  • Speicherverwaltung: Ein relationales Datenbankmanagementsystem (RDBMS) speichert und verwaltet Daten und ermรถglicht das Erstellen, Hinzufรผgen und Lรถschen von Datensรคtzen.
  • Schneller Datenzugriff: Mit einer SQL-Abfrage kรถnnen Sie Daten auf Basis bestimmter Bedingungen oder Filter einfach abrufen.
  • Datenschutz: Das RDBMS kann sich von Systemausfรคllen wie Stromausfรคllen erholen und Daten aus Backups wiederherstellen, wenn eine Festplatte ausfรคllt.
  • Mehrbenutzerunterstรผtzung: Es bietet gleichzeitigen Zugriff, sodass mehrere Benutzer Daten lesen und รคndern kรถnnen, ohne die ร„nderungen der anderen zu รผberschreiben.
  • Sicherheit: Es regelt, welche Benutzer auf welche Objekte zugreifen und welche Operationen sie durchfรผhren dรผrfen.

Bevรถlkerungszahl

In der dritten Phase werden die Daten in den Data Mart eingepflegt.

Der Auffรผllungsschritt umfasst die folgenden Aufgaben:

  • Karteping Quelldaten zu Zieldaten.
  • Extracdie Quelldaten.
  • Bereinigen und Transformieren der Daten.
  • Die Daten werden in den Data Mart geladen.
  • Erstellung und Speicherung von Metadaten.

Welche Produkte und Technologien benรถtigen Sie?

Diese Aufgaben fรผhren Sie mit einem ETL-Prozess (z. B.tracDas Tool โ€žTransformieren, Ladenโ€œ untersucht die Datenquellen und fรผhrt eine Quell-Ziel-Zuordnung durch.pingund dann extracts transformiert, bereinigt und lรคdt die Daten in den Data Mart.

Dabei erstellt das Tool auch Metadaten โ€“ Details wie die Herkunft der Daten, ihre Aktualitรคt, vorgenommene ร„nderungen und den angewendeten Zusammenfassungsgrad.

Zugriff auf

Der Zugriff ist der vierte Schritt und ermรถglicht die Nutzung der Daten: Datenabfragen, Erstellung von Berichten und Diagrammen sowie deren Verรถffentlichung. Endbenutzer stellen Abfragen und sehen sich die Ergebnisse an, hรคufig รผber โ€ฆ OLAP Werkzeuge.

Der Zugriffsschritt umfasst folgende Aufgaben:

  • Einrichtung einer Metaschicht, die Datenbankstrukturen und Objektnamen in Geschรคftsbegriffe รผbersetzt, damit auch technisch nicht versierte Benutzer problemlos auf den Data Mart zugreifen kรถnnen.
  • Einrichtung und Pflege der Datenbankstrukturen.
  • Bei Bedarf APIs und Schnittstellen einrichten.

Welche Produkte und Technologien benรถtigen Sie?

Sie kรถnnen รผber die Kommandozeile oder eine grafische Benutzeroberflรคche (GUI) auf den Data Mart zugreifen. Eine GUI ist in der Regel vorzuziehen, da sie die Erstellung von Diagrammen vereinfacht und benutzerfreundlicher als die Kommandozeile ist.

Management

Die Verwaltung ist die letzte Phase des Data-Mart-Implementierungsprozesses. Mithilfe einer grafischen Benutzeroberflรคche (GUI) oder der Kommandozeile erledigen die Teams laufende Verwaltungsaufgaben wie:

  • Laufende Benutzerzugriffsverwaltung.
  • Systemoptimierung und Feinabstimmung fรผr bessere Leistung.
  • Hinzufรผgen und Verwalten neuer Daten im Data Mart.
  • Planung von Wiederherstellungsszenarien, um die Verfรผgbarkeit des Systems im Falle eines Ausfalls aufrechtzuerhalten.
  • Wiederherstellung nach Hardware- und Softwarefehlern unter Beibehaltung der Daten.

Best Practices fรผr die Implementierung von Data Marts

Befolgen Sie diese bewรคhrten Vorgehensweisen wรคhrend des gesamten Data-Mart-Implementierungsprozesses:

  • Strukturieren Sie die Datenquellen eines Data Marts nach Abteilungen.
  • Den Implementierungszyklus in Wochen statt in Monaten oder Jahren messen.
  • Beziehen Sie alle Interessengruppen in die Planungs- und Entwurfsphase ein, da die Implementierung eines Data Marts komplex sein kann.
  • Budgetieren Sie die Kosten fรผr Hardware, Software, Netzwerk und Implementierung des Data Marts prรคzise.
  • Selbst wenn ein Data Mart die Hardware gemeinsam nutzt, benรถtigt er mรถglicherweise unterschiedliche Software zur Bearbeitung von Benutzeranfragen; schรคtzen Sie den zusรคtzlichen Rechenaufwand und Speicherplatz ein, der fรผr schnelle Antworten erforderlich ist.
  • Wenn sich der Data Mart an einem anderen Ort als das Data Warehouse befindet, muss sichergestellt werden, dass genรผgend Netzwerkkapazitรคt fรผr die รœbertragung der erforderlichen Datenmengen vorhanden ist.
  • Planen Sie ausreichend Zeit fรผr die Ladezeit ein, da diese mit zunehmender Komplexitรคt der Transformationen steigt.

Vor- und Nachteile eines Data Mart

Wie jede Architekturwahl bringt auch ein Data Mart klare Vorteile mit sich, aber auch einige Kompromisse.

Vorteile

  • Ein Data Mart enthรคlt eine Teilmenge der organisationsweiten Daten, die fรผr eine bestimmte Benutzergruppe wertvoll sind.
  • Es ist eine kostengรผnstige Alternative zu einem Data Warehouse, dessen Aufbau teuer sein kann.
  • Ein Data Mart ermรถglicht einen schnelleren Zugriff auf Daten.
  • Es ist einfach zu bedienen, da es auf die spezifischen Bedรผrfnisse seiner Nutzer zugeschnitten ist, was Geschรคftsprozesse beschleunigen kann.
  • Ein Data Mart benรถtigt weniger Implementierungszeit als ein Data Warehouse, da man sich nur auf eine Teilmenge der Daten konzentriert.
  • Es enthรคlt historische Daten, die Analysten helfen, Trends zu erkennen.

Nachteile

  • Unternehmen erstellen manchmal zu viele voneinander unabhรคngige Data Marts, deren Wartung sich als schwierig erweist.
  • Ein Data Mart kann keine unternehmensweite Datenanalyse durchfรผhren, da sein Datensatz begrenzt ist.

Hรคufig gestellte Fragen

A Data Warehouse Ein Data-Repository ist ein unternehmensweites Repository, das alle Themenbereiche abdeckt, wรคhrend ein Data Mart eine kleinere, themenspezifische Teilmenge fรผr eine Abteilung enthรคlt. Data Marts sind kostengรผnstiger, schneller zu erstellen und abfragefreundlicher, ermรถglichen aber keine unternehmensweiten Analysen.

Ein Data Mart speichert strukturierte, aufbereitete Daten, die fรผr eine bestimmte Geschรคftsfunktion modelliert sind. Ein Data Lake hingegen speichert Rohdaten jeglicher Art โ€“ strukturiert, semistrukturiert oder unstrukturiert โ€“ in groรŸem Umfang. Data Marts ermรถglichen schnelles Reporting; Data Lakes unterstรผtzen explorative Datenanalyse und maschinelles Lernen.

Die meisten Data Marts verwenden einen dimensionales ModellTypischerweise handelt es sich um ein Sternschema mit einer zentralen Faktentabelle, die mit Dimensionstabellen verknรผpft ist. Ein Schneeflockenschema normalisiert diese Dimensionen zusรคtzlich. Beide Schemata beschleunigen Abfragen und vereinfachen die Berichterstellung fรผr Geschรคftsanwender.

Ein Vertriebs-Data-Mart speichert Kundentransaktionen, Umsatz- und Pipeline-Kennzahlen fรผr das Vertriebsteam. Marketing-, Finanz- und Personal-Data-Marts funktionieren nach demselben Prinzip und stellen jeder Abteilung voraggregierte Daten zur Verfรผgung, ohne dass das gesamte Unternehmens-Data-Warehouse abgefragt werden muss.

Ein Data Mart unterstรผtzt OLAPEs ist kein OLTP-System. Es ist optimiert fรผr das Lesen, Aggregieren und Analysieren historischer Daten fรผr Berichte und Dashboards, und nicht fรผr die schnellen Einfรผgungen und Aktualisierungen, die transaktionale OLTP-Systeme verarbeiten.

Ein Cloud-Data-Mart lรคuft auf einer verwalteten Cloud-Data-Warehouse-Plattform anstelle von lokalen Servern. Dadurch entfรคllt die Hardwareverwaltung, Speicher und Rechenleistung werden bedarfsgerecht skaliert, und die Abrechnung erfolgt in der Regel pro Abfrage, was die Kosten senkt und die Bereitstellung beschleunigt.

KI- und Machine-Learning-Tools beschleunigen die Arbeit mit Data Marts durch die Profilierung von Quelldaten, die Empfehlung von Schemata und Dimensionen sowie die Generierung von ETL-Maps.pingSie weisen auf Probleme mit der Datenqualitรคt hin und schlagen Partitionierungs- und Indexierungsstrategien vor. Entwickler sollten jedoch jede Empfehlung vor der Produktivsetzung รผberprรผfen.

Ja. ChatGPT und GitHub-Copilot Entwerfen Sie SQL-Abfragen, DDL-Skripte mit Sternschema anhand einer kurzen Eingabeaufforderung. Revรœberprรผfen Sie die Ausgabe vor der Ausfรผhrung auf korrekte Tabellennamen, Joins und Granularitรคt, da im generierten Code Geschรคftsregeln fehlen kรถnnen.

Fassen Sie diesen Beitrag mit folgenden Worten zusammen: