Mi az az adattárház? Típusok
David Carter
⚡ Okos összefoglaló
Az adattárház egy központosított adattárat definiál, amely számos forrásból származó információkat konszolidál elemzés, jelentéskészítés és döntéstámogatás céljából. Ez az oktatóanyag ismerteti az adattárházak történetét, működési modelljét, típusait, szakaszait, összetevőit, megvalósítási lépéseit, előnyeit, hátrányait és a legfontosabb eszközöket, amelyek a modern üzleti intelligencia alapjává teszik az adattárházakat.
Mi az adattárház?
Adattárház (DW) Az adattárház az a folyamat, amelynek során különböző forrásokból gyűjtünk és kezelünk adatokat, hogy értelmes üzleti információkat nyújtsunk. Az adattárházat jellemzően heterogén forrásokból származó üzleti adatok összekapcsolására és elemzésére használják, és ez minden üzleti intelligencia (BI) rendszer alapja, amelyet adatelemzésre és jelentéskészítésre építettek.
Az adattárház olyan technológiák és komponensek kombinációja, amely az adatok stratégiai felhasználását támogatja. Nagy mennyiségű üzleti információ elektronikus tárolása, amelyet lekérdezésre és elemzésre, nem pedig tranzakciófeldolgozásra terveztek. Az adattárház a nyers adatokat használható információkká alakítja, és időben eljuttatja azokat a felhasználókhoz, hogy fontos döntéseket hozhassanak.
A döntéstámogató adatbázist (az Adattárházat) a szervezet operatív adatbázisától elkülönítve tartják karban. Az Adattárház nem egy termék, hanem egy környezet – egy információs rendszer architekturális konstrukciója, amely a felhasználók számára olyan aktuális és korábbi döntéstámogató információkat biztosít, amelyekhez egy hagyományos operatív adattárban nehéz hozzáférni vagy azokat bemutatni.
Talán tudja, hogy egy 3NF-fel tervezett leltárrendszer-adatbázis jellemzően sok egymással összefüggő táblázatot tartalmaz. Például egy aktuális leltárról szóló jelentéshez több mint 12 összekapcsolt feltételre lehet szükség, ami lelassítja a lekérdezések és a jelentések válaszidejét. Az adattárház denormalizált felépítést biztosít, amely csökkenti a válaszidőt és javítja a jelentéskészítés és az elemzés teljesítményét.
Az adattárház rendszer a következő neveken is ismert:
- Döntéstámogató rendszer (DSS)
- Vezetői Információs Rendszer
- Vezetői információs rendszer
- Üzleti intelligencia megoldás
- Analitikai alkalmazás
- Adattárház
Az adattárház története
Az adattárház segít a felhasználóknak megérteni és javítani szervezetük teljesítményét. Az adattárház iránti igény egyre inkább fejlődött, ahogy a számítógépes rendszerek egyre összetettebbé váltak és egyre nagyobb mennyiségű információt dolgoztak fel. Az adattárház nem új koncepció – hosszú evolúciós múltra tekint vissza.
Íme néhány kulcsfontosságú esemény az adattárház fejlődésében:
- 1960 — Dartmouth és General Mills egy közös kutatási projektben kidolgozták a „dimenziók” és a „tények” fogalmakat.
- 1970 — Az AC Nielsen és az IRI bevezeti a dimenzionális adatpiacokat a kiskereskedelmi értékesítéshez.
- 1983 — A Teradata Corporation bemutat egy kifejezetten döntéstámogatásra tervezett adatbázis-kezelő rendszert.
- 1980-es évek vége - IBM Paul Murphy és Barry Devlin kutatók kidolgozták az üzleti adattárház koncepcióját.
- A modern adattárház-vízió a Bill Inmon, akit gyakran az „adattárház atyjának” is neveznek. Ő írta az adattárház és a Corporate Information Factory felépítésével, használatával és karbantartásával kapcsolatos alapvető munkákat.
Hogyan működik egy adattárház?
Az adattárház egy központi adattárházként működik, ahová az információk egy vagy több adatforrásból érkeznek. Az adatok tranzakciós rendszerekből és más relációs adatbázisokból áramlanak a raktárba.
A bejövő adatok lehetnek:
- Szerkesztett
- Félig strukturált
- Strukturálatlan
Az adatokat feldolgozzák, átalakítják és beolvasztják, hogy a felhasználók hozzáférhessenek a kurált adathalmazhoz üzleti intelligencia eszközökön, SQL-klienseken és táblázatokon keresztül. Az adattárház a különböző forrásokból származó információkat egyetlen átfogó adatbázisba egyesíti.
Azáltal, hogy mindezeket az információkat egy helyen konszolidálja, egy szervezet holisztikusan elemezheti ügyfeleit, és megerősítheti, hogy minden rendelkezésre álló adatpontot figyelembe vett. Az adattárházak lehetővé teszik az adatbányászatot – az adatbányászat olyan mintákat keres az adatokban, amelyek magasabb eladásokhoz, alacsonyabb költségekhez és jobb előrejelzésekhez vezetnek.
Az adattárházak típusai
Az adattárházak (DWH) három fő típusa a következő:
1. Vállalati adattárház (EDW):
A vállalati adattárház egy központosított adattárház, amely döntéstámogatási szolgáltatásokat nyújt egy teljes szervezet számára. Egységes megközelítést kínál az adatok rendszerezésére és ábrázolására, és lehetővé teszi az adatok téma szerinti osztályozását, valamint a hozzáférés megadását az adott részlegek szerint.
2. OperaNemzetközi adattár (ODS):
An OperaAz adattárház egy olyan adattár, amelyet akkor használnak, ha sem az adattárház, sem az OLTP rendszerek nem tudják kielégíteni a szervezet jelentéskészítési igényeit. Az ODS-ben az adatok valós időben frissülnek, ami ideálissá teszi a rutintevékenységekhez, például az aktuális alkalmazotti rekordok tárolásához.
3. Data Mart:
A Data Mart az adattárház egy részhalmaza, amelyet egy adott üzletág, például értékesítés, pénzügy vagy marketing számára terveztek. Egy független adattárházban az adatok közvetlenül a forrásrendszerekből gyűjthetők.
Az adattárház általános szakaszai
Kezdetben a szervezetek viszonylag egyszerű adattárházakat alkalmaztak. Idővel kifinomultabb minták alakultak ki. Az alábbiakban az adattárházak (DWH) használatának általános szakaszai láthatók:
nem elérhető Operanemzeti adatbázis:
Az adatokat egy operációs rendszerről egy másik szerverre másolják. A másolat betöltése, feldolgozása és jelentése nem befolyásolja az operációs rendszer teljesítményét.
Offline adattárház:
Az adattárházban található adatokat rendszeresen frissítik az operatív adatbázisból. Az adatokat leképezik és átalakítják az adattárház céljainak elérése érdekében.
Valós idejű adattárház:
Az adattárházak minden alkalommal frissülnek, amikor egy tranzakció történik az operatív adatbázisban. A légitársaságok és a vasúti foglalási rendszerek klasszikus példák erre.
Integrált adattárház:
Az adattárházak folyamatosan frissülnek, amikor az operációs rendszerek tranzakciókat hajtanak végre. Az adattárház ezután tranzakciókat generál, amelyeket visszajuttat az operációs rendszernek.
Az adattárház összetevői
Az adattárház négy összetevője a következő:
Terheléskezelő: A Load Manager, más néven elülső komponens, kezeli az ex-hez kapcsolódó összes műveletet.tracadatok adattárházba való betöltése és továbbítása. Ezek a műveletek magukban foglalják azokat az átalakításokat, amelyek előkészítik az adatokat az Adattárházba való bevitelre.
Raktárvezető: A raktárkezelő végzi az adattárházon belüli adatkezeléssel kapcsolatos műveleteket. Elemzi az adatokat a konzisztencia biztosítása érdekében, indexeket és nézeteket hoz létre, denormalizálásokat és aggregációkat generál, átalakítja és egyesíti a forrásadatokat, valamint archiválja vagy biztonsági másolatot készít az adatokról.
Lekérdezéskezelő: A háttérkomponensként is ismert Lekérdezéskezelő a felhasználói lekérdezésekkel kapcsolatos műveleteket kezeli. A lekérdezéseket a megfelelő táblákhoz irányítja, és ütemezi azok végrehajtását.
Végfelhasználói hozzáférési eszközök:
Ezek az eszközök öt csoportba sorolhatók: 1) Adatjelentéskészítő eszközök, 2) Lekérdezőeszközök, 3) Alkalmazásfejlesztő eszközök, 4) EIS eszközök és 5) OLAP eszközök. Adatbányászati eszközök.
Kinek van szüksége adattárházra?
Adattárházra (DWH) minden felhasználótípus számára szükség van, beleértve a következőket:
- Döntéshozók, akik nagy mennyiségű adatra támaszkodnak.
- Olyan felhasználók, akik testreszabott, összetett folyamatokat futtatnak a több forrásból származó információk kombinálására.
- Olyan emberek, akik egyszerű, alacsony súrlódású technológiát szeretnének az adatok eléréséhez.
- Olyan csapatok, amelyek szisztematikus, megismételhető megközelítést szeretnének alkalmazni a döntéshozatalban.
- Olyan felhasználók számára, akiknek gyors teljesítményre van szükségük hatalmas adathalmazokon jelentésekhez, irányítópultokhoz, rácsokhoz vagy diagramokhoz.
- Az elemzők rejtett mintákat keresnek az adatfolyamokban és a csoportokbanpings.
Mire használható az adattárház?
Az alábbiakban felsoroljuk azokat a leggyakoribb szektorokat, ahol az adattárházakat használják:
Légitársaság:
A légiközlekedési ágazatban az adattárházak támogatják a személyzet kiosztását, az útvonal-jövedelmezőség elemzését, a törzsutasprogram promócióit és hasonló operatív döntéseket.
Banking:
Az adattárházakat széles körben használják a banki szektorban az irodai erőforrások hatékony kezelésére. Számos bank piackutatásra, termékteljesítmény-elemzésre és működési tervezésre is használja őket.
Egészségügy:
Az egészségügyi szektor adattárházakat használ a stratégiák kidolgozására és az eredmények előrejelzésére, a betegek kezelési jelentéseinek elkészítésére, valamint az adatok biztosítási partnerekkel és orvosi segélyszolgálatokkal való megosztására.
Állami szektor:
Az állami szektorban az adattárházak támogatják az információgyűjtést, és segítik a kormányzati szerveket az adó- és egészségpolitikai nyilvántartások karbantartásában és elemzésében minden egyes személy esetében.
Befektetés és biztosítás:
Ebben az ágazatban a raktárakat adatminták, ügyféltrendek és piaci mozgások elemzésére használják.
Kiskereskedelmi láncok:
A kiskereskedelmi láncok adattárházakat használnak a disztribúcióhoz és a marketinghez track termékek és a vásárlói vásárlási szokások, promóciók tervezése és árképzési politika meghatározása.
Távközlés:
A telekommunikációs vállalatok adattárházakat használnak termékeik promóciójához, értékesítési döntéseikhez és disztribúciós döntéseikhez.
Vendéglátás:
A vendéglátóipar adattárházakat használ a visszajelzések és az utazási szokások alapján célzott reklám- és promóciós kampányok tervezésére és becslésére.
Adattárház megvalósításának lépései
Az adattárház bevezetésével járó üzleti kockázatok kezelésének legjobb módja egy háromágú stratégia követése:
- Vállalati stratégia: Határozza meg a jelenlegi technikai architektúrát és eszközöket, valamint azokat a tényeket, dimenziókat és attribútumokat, amelyeket a raktárnak támogatnia kell. Adattérképping és az átalakulás ennek a szakasznak a részét képezi.
- Szakaszos szállítás: Az adattárházat témakörök szerinti szakaszokban kell megvalósítani. A kapcsolódó üzleti entitásokat, például a foglalást és a számlázást először le kell szállítani, majd integrálni.
- Iteratív prototípusping: A hirtelen, azonnali megvalósítás helyett az Adattárházat iteratívan kell fejleszteni, tesztelni és finomítani.
Íme az adattárház megvalósításának főbb lépései és a hozzájuk kapcsolódó eredmények:
| Lépés | Feladatok | teljesítések |
|---|---|---|
| 1 | Projekt hatókörének meghatározása | Hatókör meghatározása |
| 2 | Üzleti igények meghatározása | Logikai adatmodell |
| 3 | Határozza OperaNemzetközi adattárolási követelmények | Operanemzeti adattár modell |
| 4 | Szerezzen meg vagy fejlesszen ki korábbiakattraceszközök | ExtracEszközök és szoftverek |
| 5 | Adattárház adatkövetelményeinek meghatározása | Átmeneti adatmodell |
| 6 | A dokumentumból hiányoznak az adatok | Tennivalók listája |
| 7 | Térkép Operaaz adattártól az adattárházig | DW adatintegrációs térkép |
| 8 | Adattárház adatbázis-tervezés fejlesztése | DW adatbázis-tervezés |
| 9 | Extract adatok innen: Operanemzeti adattár | Integrált DW Data Extracts |
| 10 | Az adattárház betöltése | Kezdeti adatbetöltés |
| 11 | Az adattárház karbantartása | Folyamatos adathozzáférés és későbbi betöltések |
Adattárház megvalósításának ajánlott gyakorlatai
- Határozzon meg egy tervet az adatok konzisztenciájának, pontosságának és integritásának tesztelésére.
- Az adattárháznak jól integráltnak, jól definiáltnak és időbélyeggel ellátottnak kell lennie.
- Az adattárház tervezésekor használja a megfelelő eszközt, kövesse az életciklust, kezelje az adatütközéseket időben, és tanuljon a hibákból.
- Soha ne cserélje le az operatív rendszereket és az operatív jelentéseket a raktárra.
- Ne töltsön túl sok időt az exéveltracaz adatok szerkesztése, tisztítása és betöltése – ahol lehetséges, automatizálja.
- Vonja be az összes érdekelt felet, beleértve az üzleti csapatokat is, az adattárház megvalósításába. Tekintse az adattárházat közös projektként, hogy az továbbra is hasznos maradjon a végfelhasználók számára.
- Készítsen képzési tervet a végfelhasználók számára.
Az adattárház előnyei és hátrányai
Az adattárház (DWH) előnyei:
- Az üzleti felhasználók gyorsan hozzáférhetnek a kritikus adatokhoz számos forrásból, egy helyen.
- Konzisztens információkat biztosít a funkciókon átívelő tevékenységek között, és támogatja az eseti jelentéskészítést és lekérdezéseket.
- Több adatforrást integrál, ami csökkenti a termelési rendszerek terhelését.
- Csökkenti az elemzések és jelentések elkészítésének teljes átfutási idejét.
- Az átszervezés és az integráció megkönnyíti a jelentéskészítést és az elemzést a végfelhasználó számára.
- Időt takarít meg a felhasználónak azáltal, hogy nem kell több forrásból adatokat lekérnie.
- Nagy mennyiségű historikus adatot tárol, ami lehetővé teszi a trendelemzést és a jövőbeli előrejelzéseket.
Az adattárház hátrányai:
- Nem ideális lehetőség strukturálatlan adatokhoz.
- A létrehozás és a megvalósítás időigényes.
- Az adattárházak aktív karbantartás nélkül viszonylag gyorsan elavulhatnak.
- Az adattípusok, tartományok, forrássémák, indexek vagy lekérdezések módosítása nehézkes.
- Az Adattárház elsőre egyszerűnek tűnhet, de az átlagfelhasználó számára összetett.
- A legjobb erőfeszítések ellenére a projekt hatóköre a megvalósítás során hajlamos bővülni.
- A különböző üzleti egységek időnként egymásnak ellentmondó üzleti szabályokat dolgoznak ki.
- A szervezeteknek jelentős erőforrásokat kell elkülöníteniük a képzésre és a bevezetésre.
Az adattárház jövője
- Szabályozási korlátok korlátozhatja a különböző adatforrások kombinálásának lehetőségét, beleértve a strukturálatlan adatokat is, amelyeket nehezebb tárolni és kezelni.
- Mivel az méret Az adatbázisok számának növekedésével az, hogy mit tekintünk nagyon nagy adatbázisnak, folyamatosan növekszik, és az ilyen méretű adattárházak felépítése és üzemeltetése egyre összetettebb.
- Multimédiás adatok nem manipulálható olyan könnyen, mint a szöveg. A relációs szoftverek jól kezelik a szöveges információkat, de a multimédia-tartalmak továbbra is aktív kutatási területnek számítanak.
Adattárház eszközök
Számos adattárház-eszköz érhető el a piacon. Íme néhány a legkiemelkedőbbek közül:
1. MarkLogic:
MarkLogic egy adattárház-megoldás, amely leegyszerűsíti és felgyorsítja az adatintegrációt a vállalati funkciók gazdag tárházával. Összetett keresési műveleteket hajt végre, és dokumentumokat, kapcsolatokat és metaadatokat tud lekérdezni.
2. Oracle:
Oracle az iparágvezető adatbázis. Széleskörű adattárház-megoldásokat kínál mind helyszíni, mind felhőalapú telepítésekhez, és a működési hatékonyság javításával segít optimalizálni az ügyfélélményt.
3. Amazon Vöröseltolódás:
Amazon vöröseltolódás egy egyszerű és költséghatékony adattárház-szolgáltatás az adatok szabványos elemzéséhez SQL és a meglévő BI eszközök. Lekérdezésoptimalizálási technikák segítségével összetett lekérdezéseket futtat petabájtnyi strukturált adaton.
Itt van a hasznosak teljes listája Adattárház eszközök.
