Mi az a Data Mart a Data Warehouse-ban? Típusok és példa

Mi az a Data Mart?

A Data Mart a szervezet egyetlen funkcionális területére összpontosít, és egy adattárházban tárolt adatok egy részét tartalmazza. A Data Mart a Data Warehouse tömörített változata, és a szervezet egy adott osztálya, egysége vagy felhasználói csoportja általi használatra készült. Pl. marketing, értékesítés, HR vagy pénzügy. Gyakran egy szervezet egyetlen osztálya irányítja.

A Data Mart általában csak néhány forrásból merít adatokat, összehasonlítva egy adattárházzal. Az adatpiacok kis méretűek, és rugalmasabbak az adattárházhoz képest.

Miért van szükségünk a Data Martra?

• A Data Mart segít megnövelni a felhasználó válaszidejét az adatmennyiség csökkenése miatt
• Könnyű hozzáférést biztosít a gyakran kért adatokhoz.
• A Data mart a vállalati Datawarehouse-hoz képest egyszerűbben megvalósítható. Ugyanakkor a Data Mart megvalósításának költsége minden bizonnyal alacsonyabb a teljes adattárház megvalósításához képest.
• A Data Warehouse-hoz képest egy datamart agilis. Modellváltás esetén a datamart gyorsabban felépíthető a kisebb méret miatt.
• A Datamartot egyetlen témaszakértő határozza meg. Éppen ellenkezőleg, az adattárházat az interdiszciplináris kkv-k határozzák meg számos területről. Ezért a Data mart nyitottabb a változtatásokra, mint a Datawarehouse.
• Az adatok particionáltak, és nagyon részletes hozzáférés-felügyeleti jogosultságokat tesznek lehetővé.
• Az adatok szegmentálhatók és különböző hardver/szoftver platformokon tárolhatók.

A Data Mart típusai

Az adatpiacnak három fő típusa van:

1. Függő: A függő adatpiacok közvetlenül működési, külső vagy mindkét forrásból származó adatok rajzolásával jönnek létre.
2. Független: A független adattárház központi adattárház használata nélkül jön létre.
3. hibrid: Az ilyen típusú adatpiacok adatokat vehetnek át adattárházakból vagy operációs rendszerekből.

Dependent Data Mart

A függő adatpiac lehetővé teszi a szervezet adatainak egyetlen adattárházból történő beszerzését. Ez az egyik adatpiaci példa, amely a központosítás előnyeit kínálja. Ha egy vagy több fizikai adatpiacot kell kifejlesztenie, akkor azokat függő adatpiacként kell konfigurálnia.

A Dependent Data Mart az adattárházban kétféle módon építhető fel. Vagy ott, ahol a felhasználó az adatpiachoz és az adattárházhoz is hozzáférhet, igénytől függően, vagy ahol a hozzáférés csak az adatpiacra korlátozódik. A második megközelítés nem optimális, mivel időnként adatroncstelepnek nevezik. Az adatszeméttelepen minden adat közös forrással kezdődik, de selejtezve vannak, és többnyire selejtezve vannak.

Independent Data Mart

Független adattárház jön létre a központi adattárház használata nélkül. Ez a fajta Data Mart ideális választás kisebb csoportok számára egy szervezeten belül.

Egy független adatpiacnak nincs kapcsolata sem a vállalati adattárházzal, sem más adatpiaccal. Az Independent data martban az adatok külön bevitelre kerülnek, és az elemzések is autonóm módon történnek.

A független adatpiacok megvalósítása ellentétes az adattárház építésének motivációjával. Mindenekelőtt konzisztens, központosított vállalati adattárra van szüksége, amelyet több, különböző érdeklődési körrel rendelkező felhasználó is elemezhet, akik széles körben eltérő információkra vágynak.

Hybrid Data Mart

A hibrid adatpiac az adattárházon kívüli forrásokból származó bemeneteket kombinálja. Ez akkor lehet hasznos, ha ad-hoc integrációt szeretne, például miután új csoportot vagy terméket adnak hozzá a szervezethez.

Ez a legjobb adatpiaci példa, amely több adatbázis-környezethez is alkalmas, és bármely szervezet számára gyors megvalósítási folyamatot biztosít. Ez a legkevesebb adattisztítási erőfeszítést is igényel. A Hybrid Data mart a nagy tárolási struktúrákat is támogatja, és a legalkalmasabb a kisebb adatközpontú alkalmazások rugalmasságára.

A Datamart megvalósításának lépései

A Data Mart megvalósítása kifizetődő, de összetett eljárás. Íme a Data Mart bevezetésének részletes lépései:

Tervezés

A tervezés a Data Mart megvalósításának első fázisa. Ez lefedi az összes feladatot az adatpiaci kérelem kezdeményezésétől a követelményekre vonatkozó információk gyűjtéséig. Végül elkészítjük a logikai és fizikai Data Mart dizájnt.

A tervezési lépés a következő feladatokat foglalja magában:

• Az üzleti és műszaki követelmények összegyűjtése és az adatforrások azonosítása.
• Az adatok megfelelő részhalmazának kiválasztása.
• Az adatpiac logikai és fizikai szerkezetének tervezése.

Az adatok a következő kritériumok alapján particionálhatók:

• találka
• Üzleti vagy funkcionális egység
• Földrajz
• A fentiek bármilyen kombinációja

Az adatok particionálhatók alkalmazás vagy DBMS szinten. Bár ajánlatos az Alkalmazás szintjén particionálni, mivel ez évente különböző adatmodelleket tesz lehetővé az üzleti környezet változásával.

Milyen termékekre és technológiákra van szüksége?

Egy egyszerű toll és papír elég lenne. Bár eszközök, amelyek segítik az UML létrehozását ill ER diagram metaadatokat is hozzáfűzne a logikai és fizikai tervekhez.

felépítése

Ez a megvalósítás második szakasza. Ez magában foglalja a fizikai adatbázis és a logikai struktúrák.

Ez a lépés a következő feladatokat foglalja magában:

• A korábbi fázisban tervezett fizikai adatbázis megvalósítása. Például adatbázisséma objektumok, például tábla, indexek, nézetek stb. jönnek létre.

Milyen termékekre és technológiákra van szüksége?

Neked kell egy relációs adatbázis-kezelő rendszer adatpiacot építeni. Az RDBMS számos olyan funkcióval rendelkezik, amelyek a Data Mart sikeréhez szükségesek.

• Tárhelykezelés: Az RDBMS tárolja és kezeli az adatokat az adatok létrehozásához, hozzáadásához és törléséhez.
• Gyors adathozzáférés: Egy SQL lekérdezéssel könnyedén hozzáférhet az adatokhoz bizonyos feltételek/szűrők alapján.
• Adat védelem: Az RDBMS rendszer lehetőséget kínál a rendszerhibák, például az áramkimaradások utáni helyreállításra is. Lehetővé teszi az adatok visszaállítását ezekből a biztonsági másolatokból arra az esetre, ha a lemez meghibásodik.
• Többfelhasználós támogatás: Az adatkezelő rendszer egyidejű hozzáférést kínál, lehetővé teszi több felhasználó számára, hogy hozzáférjen és módosítsa az adatokat anélkül, hogy a másik felhasználó által végzett változtatásokat megzavarná vagy felülírná.
• Biztonság: Az RDMS rendszer lehetőséget biztosít a felhasználók objektumokhoz és bizonyos típusú műveletekhez való hozzáférésének szabályozására is.

Népesedés

A harmadik fázisban az adatok feltöltődnek az adatpiacon.

A feltöltési lépés a következő feladatokat foglalja magában:

• Forrásadatok a céladatokhoz Mapping
• Forrásadatok kinyerése
• Tisztítási és átalakítási műveletek az adatokon
• Adatok betöltése az adatpiacra
• Metaadatok létrehozása és tárolása

Milyen termékekre és technológiákra van szüksége?

Ezeket a populációs feladatokat egy ETL (Extract Transform Load) eszköz. Ez az eszköz lehetővé teszi az adatforrások megtekintését, a forrás-cél leképezés végrehajtását, az adatok kinyerését, átalakítását, megtisztítását és visszatöltését az adatpiacra.

A folyamat során az eszköz olyan metaadatokat is létrehoz, mint például az adatok honnan származnak, milyen frissek, milyen típusú változtatásokat hajtottak végre az adatokon, és milyen szintű összegzést végeztek.

Hozzáférés

A hozzáférés egy negyedik lépés, amely magában foglalja az adatok felhasználását: az adatok lekérdezését, jelentések, diagramok létrehozását és közzétételét. A végfelhasználó lekérdezéseket küld az adatbázisba, és megjeleníti a lekérdezések eredményeit

A hozzáférési lépésnek a következő feladatokat kell végrehajtania:

• Hozzon létre egy metaréteget, amely lefordítja az adatbázis-struktúrákat és az objektumok neveit üzleti kifejezésekre. Ez segít a nem műszaki felhasználóknak könnyen elérni a Data Martot.
• Adatbázis-struktúrák beállítása és karbantartása.
• Ha szükséges, állítson be API-t és interfészeket

Milyen termékekre és technológiákra van szüksége?

A Data mart a parancssor vagy a grafikus felhasználói felület használatával érhető el. A grafikus felhasználói felület előnyben részesített, mivel könnyen generál grafikonokat, és a parancssorhoz képest felhasználóbarát.

Kezelése

Ez a Data Mart megvalósítási folyamatának utolsó lépése. Ez a lépés olyan irányítási feladatokat foglal magában, mint pl.

• Folyamatos felhasználói hozzáférés-kezelés.
• Rendszeroptimalizálás és finomhangolás a jobb teljesítmény elérése érdekében.
• Friss adatok hozzáadása és kezelése az adatpiacon.
• A helyreállítási forgatókönyvek tervezése és a rendszer rendelkezésre állásának biztosítása a rendszer meghibásodása esetén.

Milyen termékekre és technológiákra van szüksége?

Használhatja a grafikus felhasználói felületet vagy a parancssort az adatpiac kezeléséhez.

A Data Marts megvalósításának legjobb gyakorlatai

Az alábbiakban felsoroljuk azokat a bevált gyakorlatokat, amelyeket követnie kell a Data Mart megvalósítási folyamata során:

• A Data Mart forrásának osztályonkénti felépítésűnek kell lennie
• A Data Mart megvalósítási ciklusát rövid időszakokban kell mérni, azaz hónapok vagy évek helyett hetekben.
• Fontos, hogy minden érintettet bevonjunk a tervezési és tervezési fázisba, mivel az adatpiaci megvalósítás bonyolult lehet.
• A Data Mart hardver/szoftver, hálózatépítés és megvalósítás költségeit pontosan meg kell tervezni a tervben
• Még akkor is, ha a Data mart ugyanazon a hardveren jön létre, más szoftverre lehet szükségük a felhasználói lekérdezések kezelésére. A gyors felhasználói válasz érdekében ki kell értékelni a további feldolgozási teljesítmény- és lemeztárolási követelményeket
• Egy adatpiac az adattárháztól eltérő helyen lehet. Ezért fontos gondoskodni arról, hogy elegendő hálózati kapacitással rendelkezzenek az adatpiacra való adatátvitelhez szükséges adatmennyiségek kezelésére..
• A megvalósítási költségnek meg kell határoznia a Datamart betöltési folyamatához szükséges időt. A betöltési idő az átalakítások összetettségének növekedésével növekszik.

A Data Mart előnyei és hátrányai

Előnyök

• Az adatpiacok a szervezetszintű adatok egy részhalmazát tartalmazzák. Ezek az adatok értékesek a szervezet egy meghatározott csoportja számára.
• Költséghatékony alternatívája a adattárház, amelynek megépítése magas költségekkel járhat.
• A Data Mart gyorsabb hozzáférést tesz lehetővé az adatokhoz.
• A Data Mart könnyen használható, mivel kifejezetten a felhasználók igényeihez készült. Így az adatpiac felgyorsíthatja az üzleti folyamatokat.
• A Data Martsnak kevesebb megvalósítási időre van szüksége a Data Warehouse rendszerekhez képest. A Data Mart megvalósítása gyorsabb, mivel csak az adatok egyetlen részhalmazát kell koncentrálnia.
• Előzményadatokat tartalmaz, amelyek lehetővé teszik az elemző számára az adattrendek meghatározását.

Hátrányok

• Sokszor a vállalatok túl sok eltérő és nem összefüggő adatpiacot hoznak létre anélkül, hogy különösebb hasznot hoznának. Nagy akadály lehet a fenntartása.
• A Data Mart nem tud vállalati szintű szolgáltatást nyújtani adatelemzés mivel adatállományuk korlátozott.

Összegzésként

• Define Data Mart : A Data Mart a Data Warehouse olyan részhalmaza, amely a szervezet egyetlen funkcionális területére összpontosít.
• A Data Mart segít megnövelni a felhasználó válaszidejét az adatmennyiség csökkenése miatt.
• Az adatpiac három típusa: 1) Függő 2) Független 3) Hibrid
• A Data Mart fontos megvalósítási lépései a következők: 1) Tervezés 2) Építés 3 Feltöltés 4) Hozzáférés és 5) Kezelés
• A Data Mart megvalósítási ciklusát rövid időszakokban kell mérni, azaz hónapok vagy évek helyett hetekben.
• A Data mart az adattárház költséghatékony alternatívája, amelynek felépítése magas költségekkel járhat.
• A Data Mart nem tud vállalati szintű adatelemzést nyújtani, mivel az adatkészlet korlátozott.