Czym jest magazyn danych? Typy

Co to jest hurtownia danych?

Magazynowanie danych (DW) to proces gromadzenia i zarządzania danymi z różnych źródeł w celu dostarczania wartościowych informacji biznesowych. Magazyn danych jest zazwyczaj używany do łączenia i analizowania danych biznesowych z heterogenicznych źródeł i stanowi rdzeń każdego systemu Business Intelligence (BI) stworzonego do analizy i raportowania danych.

Hurtownia danych (Data Warehousing) to połączenie technologii i komponentów, które wspierają strategiczne wykorzystanie danych. Jest to elektroniczne przechowywanie dużych ilości informacji biznesowych, przeznaczone do zapytań i analiz, a nie do przetwarzania transakcyjnego. Hurtownia danych przekształca surowe dane w użyteczne informacje i dostarcza je użytkownikom na czas, aby mogli podejmować istotne decyzje.

Baza danych wspomagająca podejmowanie decyzji (Data Warehouse) jest utrzymywana oddzielnie od operacyjnej bazy danych organizacji. Data Warehouse nie jest produktem, lecz środowiskiem – konstrukcją architektoniczną systemu informatycznego, która dostarcza użytkownikom bieżących i historycznych informacji wspomagających podejmowanie decyzji, do których trudno uzyskać dostęp lub które trudno przedstawić w tradycyjnym operacyjnym magazynie danych.

Być może wiesz, że baza danych zaprojektowana w 3NF dla systemu inwentaryzacyjnego zazwyczaj zawiera wiele powiązanych ze sobą tabel. Na przykład, raport dotyczący bieżącego stanu zapasów może wymagać więcej niż 12 połączonych warunków, co wydłuża czas odpowiedzi zapytań i raportów. Hurtownia danych zapewnia zdenormalizowaną konstrukcję, która skraca czas odpowiedzi i poprawia wydajność raportowania i analiz.

System Data Warehouse znany jest również pod następującymi nazwami:

• System wspomagania decyzji (DSS)
• System Informacji Wykonawczej
• System informacji zarządczej
• Rozwiązanie analityki biznesowej
• Aplikacja analityczna
• Hurtownia danych

Historia magazynu danych

Hurtownia danych pomaga użytkownikom zrozumieć i usprawnić działanie organizacji. Potrzeba magazynowania danych ewoluowała wraz ze wzrostem złożoności systemów komputerowych i przetwarzaniem stale rosnących ilości informacji. Hurtownie danych nie są nową koncepcją — mają długą historię ewolucji.

Oto niektóre z najważniejszych wydarzeń w rozwoju Data Warehouse:

• 1960 — Dartmouth i General Mills w ramach wspólnego projektu badawczego rozwijają pojęcia „wymiary” i „fakty”.
• 1970 — AC Nielsen i IRI wprowadzają wielowymiarowe hurtownie danych dla sprzedaży detalicznej.
• 1983 — Teradata Corporation wprowadza system zarządzania bazą danych zaprojektowany specjalnie w celu wspomagania podejmowania decyzji.
• Koniec lat 1980 Do IBM Naukowcy Paul Murphy i Barry Devlin opracowują koncepcję Business Data Warehouse.
• Nowoczesna wizja magazynu danych opiera się na: Bill Inmon, często nazywany „ojcem hurtowni danych”. Był autorem fundamentalnych prac dotyczących budowy, użytkowania i utrzymania hurtowni danych oraz korporacyjnej fabryki informacji.

Jak działa magazyn danych?

Hurtownia danych działa jako centralne repozytorium, do którego informacje napływają z jednego lub kilku źródeł danych. Dane napływają do hurtowni z systemów transakcyjnych i innych relacyjnych baz danych.

Dane przychodzące mogą być:

1. Zbudowany
2. Częściowo ustrukturyzowane
3. Brak struktury

Dane są przetwarzane, transformowane i pobierane, dzięki czemu użytkownicy mogą uzyskać dostęp do wyselekcjonowanego zbioru danych za pośrednictwem narzędzi Business Intelligence, klientów SQL i arkuszy kalkulacyjnych. Hurtownia danych łączy informacje z różnych źródeł w jedną, kompleksową bazę danych.

Konsolidując wszystkie te informacje w jednym miejscu, organizacja może kompleksowo analizować swoich klientów i upewnić się, że uwzględniła wszystkie dostępne dane. Magazynowanie danych umożliwia eksplorację danych — eksploracja danych wyszukuje wzorce w danych, które prowadzą do wzrostu sprzedaży, obniżenia kosztów i lepszych prognoz.

Rodzaje hurtowni danych

Istnieją trzy główne typy magazynów danych (DWH):

1. Hurtownia danych przedsiębiorstwa (EDW):

Hurtownia danych przedsiębiorstwa (Enterprise Data Warehouse) to scentralizowany magazyn, który zapewnia usługi wspomagania decyzji w całej organizacji. Oferuje ujednolicone podejście do organizacji i reprezentacji danych oraz umożliwia klasyfikację danych według tematów i przyznawanie dostępu zgodnie z podziałem na te działy.

2. Operanarodowy magazyn danych (ODS):

An OperaMagazyn danych (ODS) to magazyn danych używany w przypadku, gdy ani hurtownia danych, ani systemy OLTP nie są w stanie zaspokoić potrzeb raportowania organizacji. W ODS dane są odświeżane w czasie rzeczywistym, co czyni go idealnym rozwiązaniem do rutynowych czynności, takich jak przechowywanie bieżących akt pracowniczych.

3. Magazyn danych:

A Magazyn danych to podzbiór hurtowni danych przeznaczony dla określonej branży, takiej jak sprzedaż, finanse czy marketing. W niezależnej hurtowni danych dane mogą być gromadzone bezpośrednio z systemów źródłowych.

Ogólne etapy magazynu danych

Początkowo organizacje stosowały stosunkowo proste rozwiązania w zakresie hurtowni danych. Z czasem pojawiły się bardziej zaawansowane wzorce. Poniżej przedstawiono ogólne etapy korzystania z hurtowni danych (DWH):

Niekatywne Operacjonalna baza danych:

Dane są kopiowane z systemu operacyjnego na inny serwer. Ładowanie, przetwarzanie i raportowanie na podstawie kopii nie wpływa na wydajność systemu operacyjnego.

Hurtownia danych offline:

Dane w hurtowni danych są regularnie aktualizowane z bazy operacyjnej. Dane są mapowane i transformowane w celu spełnienia celów hurtowni danych.

Magazyn danych w czasie rzeczywistym:

Hurtownie danych są aktualizowane za każdym razem, gdy w bazie danych operacyjnej zachodzi transakcja. Klasycznymi przykładami są systemy rezerwacji biletów lotniczych i kolejowych.

Zintegrowana hurtownia danych:

Hurtownie danych są aktualizowane w sposób ciągły, gdy systemy operacyjne przeprowadzają transakcje. Hurtownia danych generuje następnie transakcje, które są przekazywane z powrotem do systemu operacyjnego.

Komponenty magazynu danych

Cztery elementy magazynu danych to:

Menedżer obciążenia: Menedżer obciążenia, nazywany również komponentem frontowym, obsługuje wszystkie operacje związane z np.traci ładowanie danych do hurtowni. Operacje te obejmują transformacje przygotowujące dane do wprowadzenia do hurtowni danych.

Kierownik magazynu: Menedżer Magazynu wykonuje operacje związane z zarządzaniem danymi w magazynie. Analizuje dane w celu zapewnienia ich spójności, tworzy indeksy i widoki, generuje denormalizacje i agregacje, transformuje i scala dane źródłowe oraz archiwizuje lub tworzy kopie zapasowe danych.

Menedżer zapytań: Menedżer zapytań, znany również jako komponent zaplecza, obsługuje operacje związane z zapytaniami użytkowników. Kieruje zapytania do odpowiednich tabel i planuje ich wykonanie.

Narzędzia dostępu dla użytkowników końcowych:

Narzędzia te dzielą się na pięć grup: 1) raportowanie danych, 2) narzędzia do zapytań, 3) narzędzia do tworzenia aplikacji, 4) narzędzia EIS oraz 5) narzędzia OLAP i Narzędzia do eksploracji danych.

Kto potrzebuje magazynu danych?

Magazyn danych (DWH) jest potrzebny wszystkim typom użytkowników, w tym:

• Decydenci, którzy opierają się na dużych zbiorach danych.
• Użytkownicy, którzy uruchamiają niestandardowe, złożone procesy w celu łączenia informacji z wielu źródeł.
• Osoby poszukujące prostej i bezproblemowej technologii umożliwiającej dostęp do danych.
• Zespoły, którym zależy na systematycznym i powtarzalnym podejściu do podejmowania decyzji.
• Użytkownicy potrzebujący szybkiej wydajności w przypadku dużych zbiorów danych w przypadku raportów, pulpitów nawigacyjnych, siatek i wykresów.
• Analitycy chcący odkryć ukryte wzorce w przepływach danych i grupachpings.

Do czego służy hurtownia danych?

Poniżej przedstawiamy najpopularniejsze sektory, w których wykorzystuje się hurtownie danych:

Linia lotnicza:

W branży lotniczej hurtownie danych wspomagają przydzielanie zadań załodze, analizę rentowności tras, promocję programów lojalnościowych i podobne decyzje operacyjne.

Bankowość:

Hurtownie danych są szeroko wykorzystywane w bankowości do efektywnego zarządzania zasobami ludzkimi. Wiele banków wykorzystuje je również do badań rynku, analizy wydajności produktów i planowania operacyjnego.

Opieka zdrowotna:

Sektor opieki zdrowotnej wykorzystuje hurtownie danych do opracowywania strategii i przewidywania wyników, generowania raportów dotyczących leczenia pacjentów oraz udostępniania danych partnerom ubezpieczeniowym i służbom pomocy medycznej.

Sektor publiczny:

W sektorze publicznym magazyny danych wspomagają gromadzenie informacji wywiadowczych i pomagają agencjom rządowym w prowadzeniu i analizowaniu dokumentacji podatkowej oraz dokumentacji dotyczącej polityki zdrowotnej każdej osoby.

Inwestycje i ubezpieczenia:

W tym sektorze magazyny służą do analizowania wzorców danych, trendów konsumenckich i ruchów rynkowych.

Sieci handlowe:

Sieci handlowe wykorzystują hurtownie danych do dystrybucji i marketingu, track artykułów i wzorców zakupowych klientów, planowanie promocji i ustalanie polityki cenowej.

Telekomunikacja:

Przedsiębiorstwa telekomunikacyjne wykorzystują hurtownie danych do promocji produktów, podejmowania decyzji sprzedażowych i dystrybucyjnych.

Przemysł hotelarski:

Branża hotelarska wykorzystuje hurtownie danych do projektowania i szacowania kampanii reklamowych i promocyjnych, które są kierowane do klientów w oparciu o opinie i wzorce podróży.

Kroki wdrażania magazynu danych

Najlepszym sposobem zarządzania ryzykiem biznesowym związanym z wdrożeniem magazynu danych jest zastosowanie strategii składającej się z trzech elementów:

1. Strategia przedsiębiorstwa: Zidentyfikuj aktualną architekturę techniczną i narzędzia, a także fakty, wymiary i atrybuty, które musi obsługiwać magazyn. Mapa danychping i transformacja są częścią tego etapu.
2. Dostawa etapowa: Wdrażaj hurtownię danych etapami, w zależności od obszarów tematycznych. Powiązane jednostki biznesowe, takie jak system rezerwacji i fakturowania, powinny zostać dostarczone jako pierwsze, a następnie zintegrowane.
3. Prototyp iteracyjnyping: Zamiast wdrażania na wielką skalę, magazyn danych powinien być rozwijany, testowany i udoskonalany iteracyjnie.

Poniżej przedstawiono najważniejsze kroki wdrażania Data Warehouse wraz z ich rezultatami:

Krok	Zadania	Dostarczane
1	Określ zakres projektu	Definicji zakresu
2	Określ potrzeby biznesowe	Logiczny model danych
3	określić Operawymagania dotyczące magazynu danych narodowych	Operanarodowy model magazynu danych
4	Nabyć lub rozwinąć byłegotracnarzędzia cyjne	Extract Narzędzia i oprogramowanie
5	Zdefiniuj wymagania dotyczące danych w Data Warehouse	Przejściowy model danych
6	Dokumentuj brakujące dane	Lista projektów do zrobienia
7	Mapa Operaz lokalnego magazynu danych do hurtowni danych	Mapa integracji danych DW
8	Opracuj projekt bazy danych Data Warehouse	Projekt bazy danych DW
9	Extracdane z Operanarodowy magazyn danych	Zintegrowane dane DW Extracts
10	Załaduj magazyn danych	Początkowe ładowanie danych
11	Utrzymywanie magazynu danych	Ciągły dostęp do danych i późniejsze ładowanie

Najlepsze praktyki wdrażania magazynu danych

• Zdefiniuj plan testowania spójności, dokładności i integralności danych.
• Magazyn danych musi być dobrze zintegrowany, dobrze zdefiniowany i oznaczony znacznikiem czasu.
• Projektując magazyn danych, należy używać odpowiednich narzędzi, przestrzegać cyklu życia, wcześnie rozwiązywać konflikty danych i wyciągać wnioski z błędów.
• Nigdy nie zastępuj systemów operacyjnych i raportów operacyjnych magazynem.
• Nie spędzaj zbyt dużo czasu na byłymtracładowanie, czyszczenie i ładowanie danych — automatyzuj, gdzie to możliwe.
• Zaangażuj wszystkich interesariuszy, w tym zespoły biznesowe, we wdrażanie hurtowni danych. Traktuj hurtownię jako wspólny projekt, aby pozostała użyteczna dla użytkowników końcowych.
• Przygotuj plan szkoleń dla użytkowników końcowych.

Zalety i wady magazynu danych

Zalety magazynu danych (DWH):

• Użytkownicy biznesowi mogą szybko uzyskać dostęp do kluczowych danych z wielu źródeł w jednym miejscu.
• Zapewnia spójne informacje dotyczące działań międzyfunkcyjnych oraz obsługuje doraźne raportowanie i zapytania.
• Integruje wiele źródeł danych, co zmniejsza obciążenie systemów produkcyjnych.
• Skraca całkowity czas analizy i raportowania.
• Restrukturyzacja i integracja ułatwiają użytkownikowi końcowemu raportowanie i analizę.
• Oszczędza czas użytkownika, eliminując konieczność pobierania danych z wielu źródeł.
• Przechowuje duże ilości danych historycznych, co umożliwia analizę trendów i przewidywanie przyszłości.

Wady magazynu danych:

• Nie jest to idealna opcja w przypadku danych nieustrukturyzowanych.
• Tworzenie i wdrażanie jest czasochłonne.
• Magazyny danych mogą stosunkowo szybko stać się nieaktualne, jeśli nie są poddawane aktywnej konserwacji.
• Zmiany typów danych, zakresów, schematów źródłowych, indeksów i zapytań są trudne.
• Magazyn danych może wydawać się prosty w obsłudze na pierwszy rzut oka, ale dla przeciętnego użytkownika jest on skomplikowany.
• Pomimo wszelkich starań zakres projektu ma tendencję do rozszerzania się w trakcie wdrażania.
• Różne jednostki biznesowe czasami opracowują sprzeczne zasady biznesowe.
• Organizacje muszą przeznaczyć znaczne środki na szkolenia i wdrażanie.

Przyszłość hurtowni danych

• Ograniczenia regulacyjne może ograniczyć możliwość łączenia źródeł rozbieżnych danych, w tym danych niestrukturyzowanych, które są trudniejsze do przechowywania i zarządzania.
• Jak rozmiar Wraz ze wzrostem ilości baz danych, to co uznaje się za bardzo dużą bazę danych, ciągle się powiększa, a budowanie i obsługa magazynów o takiej skali staje się coraz bardziej złożona.
• Dane multimedialne Nie można manipulować nim tak łatwo jak tekstem. Oprogramowanie relacyjne dobrze radzi sobie z informacjami tekstowymi, ale multimedia wciąż stanowią aktywny obszar badań.

Narzędzia hurtowni danych

Na rynku dostępnych jest wiele narzędzi do magazynowania danych. Oto niektóre z najpopularniejszych:

1. Logika znaku:

MarekLogika to rozwiązanie do hurtowni danych, które upraszcza i przyspiesza integrację danych dzięki bogatemu zestawowi funkcji korporacyjnych. Wykonuje złożone operacje wyszukiwania i umożliwia wyszukiwanie dokumentów, relacji i metadanych.

2. Oracle:

Oracle to wiodąca w branży baza danych. Oferuje szeroką gamę rozwiązań Data Warehouse, zarówno dla wdrożeń lokalnych, jak i w chmurze, a także pomaga optymalizować doświadczenia klientów poprzez poprawę efektywności operacyjnej.

3. Amazon Przesunięcie ku czerwieni:

Amazon Przesunięcie ku czerwieni to usługa Data Warehouse, która jest prosta i ekonomiczna w analizie danych przy użyciu standardowych SQL i istniejących narzędzi BI. Uruchamia złożone zapytania na petabajtach ustrukturyzowanych danych, wykorzystując techniki optymalizacji zapytań.

Oto pełna lista przydatnych Narzędzia hurtowni danych.

FAQ