Hurtownia danych Architecture, komponenty i schemat Concepts

Hurtownia danych Concepts

A hurtownia danych Istnieje po to, aby zapewnić firmie jedną wersję prawdy do podejmowania decyzji i prognozowania. Jest to system informacyjny, który przechowuje dane historyczne i skumulowane pochodzące z jednego lub wielu źródeł.

Organizując dane do analizy, a nie do transakcji, magazyn danych upraszcza raportowanie i analizę w całej organizacji.

Charakterystyka hurtowni danych

Magazyn danych ma cztery charakterystyczne cechy, które odróżniają go od zwykłej bazy danych operacyjnej:

• Tematycznie
• Zintegrowany
• Wariant czasowy
• Nielotny

Tematycznie

Magazyn danych jest zorientowany tematycznie, ponieważ dostarcza informacji o konkretnym temacie, a nie o bieżącej działalności firmy. Typowe tematy obejmują sprzedaż, marketing i dystrybucję.

Zamiast codziennego przetwarzania, magazyn danych kładzie nacisk na modelowanie i analizę w procesie podejmowania decyzji. Oferuje prosty, zwięzły obraz każdego tematu i pomija dane, które nie wspierają procesu decyzyjnego.

Zintegrowany

Integracja jest ściśle związana z orientacją podmiotową. W hurtowni danych integracja oznacza ustalenie wspólnej jednostki miary dla wszystkich podobnych danych pochodzących z różnych baz danych oraz przechowywanie tych danych w jednolity, powszechnie akceptowalny sposób.

Magazyn danych buduje się poprzez integrację danych z różnych źródeł, takich jak komputer mainframe, relacyjne bazy danych i pliki płaskie. Musi on również zachowywać spójne konwencje nazewnictwa, formaty i kodowanie.

Ta spójność w nazewnictwie, miarach atrybutów i strukturze kodowania umożliwia skuteczną analizę. Rozważmy poniższy przykład:

W powyższym przykładzie trzy aplikacje oznaczone etykietami A, B i C przechowują informacje o płci, dacie i saldzie, ale każda aplikacja przechowuje je w inny sposób:

• Aplikacja A przechowuje pole płci jako wartości logiczne, takie jak M lub K.
• Aplikacja B przechowuje pole płci jako wartość liczbową.
• Aplikacja C przechowuje pole płci jako wartość znakową.
• Taka sama zmiana dotyczy pól Data i Saldo.

Po procesie transformacji i czyszczenia wszystkie dane są zapisywane w jednolitym formacie wewnątrz magazynu danych.

Wariant czasowy

Horyzont czasowy magazynu danych jest znacznie szerszy niż w przypadku systemu operacyjnego. Dane są identyfikowane z określonym okresem i oferują perspektywę historyczną, dlatego zawsze zawierają element czasu, jawnie lub niejawnie.

Jednym z miejsc, w których pojawia się ta rozbieżność czasowa, jest struktura klucza rekordu. Każdy klucz podstawowy w magazynie powinien zawierać element czasu, taki jak dzień, tydzień lub miesiąc.

Innym aspektem zmienności czasowej jest fakt, że po wprowadzeniu danych do magazynu nie można ich już aktualizować ani zmieniać.

Nielotny

Magazyn danych jest również nieulotny, co oznacza, że ​​wcześniejsze dane nie są usuwane po nadejściu nowych. Dane są tylko do odczytu i są okresowo odświeżane, co pomaga analitykom analizować dane historyczne i zrozumieć, co i kiedy się wydarzyło.

Ponieważ hurtownia danych nie wymaga przetwarzania transakcji, odzyskiwania ani kontroli współbieżności, pomija czynności usuwania, aktualizacji i wstawiania, typowe dla aplikacji operacyjnych. W hurtowniach danych wykonywane są tylko dwie operacje na danych:

1. Ładowanie danych
2. Dostęp do danych

Poniższa tabela przedstawia najważniejsze różnice między aplikacją operacyjną a magazynem danych:

Operaaplikacji	Hurtownia danych
Złożony program musi zostać zakodowany w celu zagwarantowania, że ​​procesy aktualizacji danych zachowają wysoką integralność produktu końcowego.	Tego typu problemy nie występują, ponieważ nie jest wykonywana aktualizacja danych.
Dane są umieszczane w znormalizowanej formie, aby zapewnić minimalną redundancję.	Dane nie są przechowywane w znormalizowanej formie.
Technologia potrzebna do obsługi transakcji, odzyskiwania danych, wycofywania zmian i rozwiązywania blokad jest dość skomplikowana.	Oferuje względną prostotę technologii.

Hurtownia danych Architektura

Hurtownia danych ArchiStruktura jest złożona, ponieważ system przechowuje dane historyczne i skumulowane z wielu źródeł. Istnieją trzy podejścia do budowy warstw magazynu: jednopoziomowa, dwupoziomowa i trójpoziomowa.

Architektura jednowarstwowa Celem tej metody jest minimalizacja ilości przechowywanych danych poprzez eliminację redundancji. W praktyce jest ona rzadko stosowana.

Architektura dwuwarstwowa Oddziela fizycznie dostępne źródła od magazynu danych. Nie jest łatwo rozszerzalny, obsługuje mniejszą liczbę użytkowników końcowych i może powodować problemy z łącznością z powodu ograniczeń sieciowych.

Architektura trójwarstwowa jest najpopularniejszym projektem magazynu danych.

Składa się z warstwy górnej, środkowej i dolnej:

1. Dolny poziom: Baza danych magazynu stanowi dolną warstwę. Zazwyczaj jest to relacyjny system baz danych, a dane są oczyszczane, transformowane i ładowane do tej warstwy za pomocą narzędzi zaplecza.
2. Środkowy poziom: Warstwa środkowa to serwer OLAP zaimplementowany w modelu ROLAP lub MOLAP. Prezentuje ontracwyświetla podgląd bazy danych i działa jako mediator między użytkownikiem końcowym a bazą danych.
3. Najwyższy poziom: Najwyższa warstwa to warstwa klienta front-end. Zawiera ona narzędzia i interfejsy API służące do łączenia się z magazynem danych i pobierania z niego danych, takie jak narzędzia do zapytań, narzędzia do raportowania, narzędzia do zarządzania zapytaniami, narzędzia analityczne i narzędzia do eksploracji danych.

Komponenty hurtowni danych

Komponenty i ogólna architektura magazynu danych współdziałają ze sobą, jak pokazano na poniższym schemacie.

Magazyn danych opiera się na serwerze RDBMS, centralnym repozytorium informacji otoczonym kluczowymi komponentami, które zapewniają funkcjonalność, łatwość zarządzania i dostępność całego środowiska.

Magazyn danych składa się z pięciu głównych komponentów, opisanych poniżej.

Baza danych hurtowni danych

Centralna baza danych stanowi podstawę środowiska magazynowego i jest wdrażana na RDBMS Ponieważ tradycyjny system RDBMS jest dostosowany do przetwarzania transakcji, a nie magazynowania, operacje wymagające dużych zasobów, takie jak zapytania ad-hoc, łączenia wielu tabel i agregaty, mogą go spowolnić.

Z tego powodu stosuje się alternatywne podejścia do baz danych:

• Bazy danych relacyjnych są wdrażane równolegle, aby zapewnić skalowalność, wykorzystując modele pamięci współdzielonej lub niczego współdzielonego w różnych konfiguracjach wieloprocesorowych lub masowo równoległych.
• Nowe struktury indeksów pozwalają ominąć skanowanie tabel relacyjnych i zwiększyć szybkość.
• Bazy danych wielowymiarowych (MDDB) służą do pokonywania ograniczeń modeli relacyjnych magazynów danych. Przykładem jest Essbase firmy Oracle.

Narzędzia do pozyskiwania, przejmowania, oczyszczania i transformacji (ETL)

Narzędzia do pozyskiwania, transformacji i migracji danych wykonują wszystkie konwersje, podsumowania i zmiany niezbędne do przekształcenia danych w ujednolicony format magazynu. Są one również nazywane Ex.tracNarzędzia t, Transform i Load (ETL).

Ich funkcjonalność obejmuje następujące elementy:

• Anonimizuj dane zgodnie z przepisami prawa.
• Usuń niepotrzebne dane z baz danych operacyjnych przed załadowaniem ich do magazynu.
• Wyszukaj i zamień popularne nazwy i definicje danych pochodzących z różnych źródeł.
• Oblicz podsumowania i dane pochodne.
• Uzupełnij brakujące dane wartościami domyślnymi.
• Usuwanie duplikatów powtarzających się danych pochodzących z wielu źródeł.

Te Narzędzia ETL może generować zadania cron, zadania w tle, programy Cobol i skrypty powłoki, które regularnie odświeżają magazyn i pomagają w utrzymaniu metadanych.

Ponieważ narzędzia ETL bazują na danych z wielu systemów, muszą sobie również radzić z heterogenicznością baz danych i danych.

Metadane

Metadane mogą brzmieć zaawansowanie, ale to po prostu dane o danych, które definiują magazyn. Służą do budowy, utrzymania i zarządzania magazynem.

W ramach architektury metadane określają źródło, zastosowanie, wartości i cechy danych oraz definiują sposób, w jaki dane mogą być zmieniane i przetwarzane, dzięki czemu pozostają ściśle powiązane z magazynem.

Na przykład wiersz w bazie danych sprzedaży może zawierać:

4030 KJ732 299.90

Nie ma to żadnego znaczenia, dopóki metadane nie wyjaśnią, że dotyczy to numeru modelu 4030, identyfikatora agenta sprzedaży KJ732 i całkowitej kwoty sprzedaży wynoszącej 299.90 USD.

Metadane są zatem niezbędnym elementem przekształcania danych w wiedzę i pomagają odpowiadać na pytania takie jak:

• Jakie tabele, atrybuty i klucze zawiera magazyn?
• Skąd wzięły się dane?
• Ile razy dane są przeładowywane?
• Jakie transformacje i oczyszczenia zostały zastosowane?

Metadane dzielą się na dwie kategorie:

1. Metadane techniczne: Opisuje magazyn dla projektantów i administratorów, którzy go budują i zarządzają.
2. Metadane biznesowe: Dzięki temu użytkownicy końcowi mogą łatwo zrozumieć informacje przechowywane w magazynie.

Narzędzia zapytań

Podstawowym celem magazynowania danych jest dostarczanie przedsiębiorstwom informacji niezbędnych do podejmowania strategicznych decyzji, a narzędzia do tworzenia zapytań umożliwiają użytkownikom interakcję z systemem.

Narzędzia te można podzielić na cztery kategorie:

1. Narzędzia do wysyłania zapytań i raportowania
2. Narzędzia do tworzenia aplikacji
3. Narzędzia do eksploracji danych
4. Narzędzia OLAP

Narzędzia do zapytań i raportowania

Narzędzia do tworzenia zapytań i raportowania dzielą się na dwie grupy: narzędzia do raportowania i narzędzia do zarządzania zapytaniami.

Narzędzia do raportowania dzielą się dalej na narzędzia do raportowania produkcyjnego i narzędzia do tworzenia raportów na komputery stacjonarne:

1. Autorzy raportów: Są one przeznaczone dla użytkowników końcowych, którzy tworzą własne analizy.
2. Raportowanie produkcji: Umożliwiają one organizacjom generowanie regularnych raportów operacyjnych i obsługę zadań wsadowych o dużej objętości, takich jak drukowanie i obliczanie. Popularne przykłady to Brio, Business Objects, Oracle, PowerSoft i SAS Institute.

Narzędzia do zarządzania zapytaniami pomóc użytkownikom końcowym poprzez wstawienie meta-warstwy pomiędzy użytkownikiem a bazą danych, która ukrywa złożoność języka SQL i struktury bazy danych.

Narzędzia do tworzenia aplikacji

Gdy wbudowane narzędzia graficzne i analityczne nie są w stanie sprostać potrzebom analitycznym organizacji, wówczas za pomocą narzędzi programistycznych tworzy się raporty niestandardowe.

Narzędzia do eksploracji danych

Eksploracja danych pozwala na odkrywanie nowych, istotnych korelacji, wzorców i trendów w dużych zbiorach danych, a narzędzia do eksploracji danych automatyzują to odkrycie.

Narzędzia OLAP

OLAP Narzędzia te opierają się na wielowymiarowej bazie danych i pozwalają użytkownikom analizować dane za pomocą rozbudowanych, wielowymiarowych widoków.

Magistrala magazynu danych Architektura

Szyna magazynu danych określa sposób przepływu danych przez magazyn. Przepływ ten można podzielić na napływ, przepływ w górę, przepływ w dół, odpływ i metaprzepływ.

Projektując magistralę, należy wziąć pod uwagę wspólne wymiary i fakty występujące w różnych hurtowniach danych.

Targi danych

A Data Mart to warstwa dostępu służąca do dostarczania danych użytkownikom. Nadaje się do dużych hurtowni danych, ponieważ jej budowa zajmuje mniej czasu i pieniędzy, choć nie ma jednej, ustalonej definicji hurtowni danych.

Mówiąc najprościej, hurtownia danych jest jednostką zależną hurtowni danych. Partycjonuje ona dane dla określonej grupy użytkowników i może znajdować się w tej samej bazie danych co hurtownia lub w fizycznie oddzielnej bazie.

Hurtownia danych ArchiNajlepsze praktyki technologiczne

Aby zaprojektować solidną architekturę magazynu danych, należy zastosować się do poniższych najlepszych praktyk:

• Korzystaj z modeli magazynów danych zoptymalizowanych pod kątem wyszukiwania informacji, niezależnie od tego, czy wymiarowy, podejście zdenormalizowane lub hybrydowe.
• Wybierz odpowiednie podejście projektowe, odgórne lub oddolne.
• Upewnij się, że dane są przetwarzane szybko i dokładnie, jednocześnie konsolidując je w jedną, prawdziwą wersję.
• Starannie zaprojektuj proces gromadzenia i oczyszczania danych w magazynie.
• Zaprojektuj architekturę metadanych umożliwiającą współdzielenie metadanych między komponentami magazynu.
• Zastanów się Operamodel magazynu danych międzynarodowych (ODS), gdy potrzeby pobierania znajdują się w dolnej części absorpcji danychtracpiramidy operacyjnej lub gdy konieczne jest uzyskanie dostępu do wielu źródeł operacyjnych.
• Upewnij się, że model danych jest zintegrowany, a nie tylko skonsolidowany; w takim przypadku użyj modelu danych 3NF, który jest również idealny podczas korzystania z narzędzi ETL i oczyszczania danych.

FAQ