Mi az a Data Mart a Data Warehouse-ban? Típusok és példa

Az adatpiac egy adatpiac analitikai erejét kínálja. adattárház egyetlen csapatnak. Azáltal, hogy egy témakörre összpontosít, lehetővé teszi egy részleg számára, hogy gyorsan elemezze saját adatait anélkül, hogy a vállalati szintű munkaterhelések mögött kellene várakoznia. Az alábbi szakaszok elmagyarázzák, mi az adatmart, miért használják a szervezetek, a három elérhető típust, valamint azt, hogyan lehet bevezetni és kezelni.

Mi az a Data Mart?

Az adattárház a szervezet egyetlen funkcionális területére összpontosít, és a benne tárolt adatok egy részhalmazát tartalmazza. AdattárházEz egy adattárház tömörített változata, amelyet egy adott részleg, egység vagy felhasználói csoport – például marketing, értékesítés, HR vagy pénzügy – számára terveztek.

Mivel egyetlen funkciót lát el, az adattárházat általában a szervezeten belül egyetlen részleg irányítja. Ez a fókusz szűkíti a hatókörét és egyértelművé teszi a tulajdonjogát.

Egy adattárház csak néhány forrásból nyeri ki az adatokat, ellentétben egy olyan adattárházzal, amely sokat integrál. Ennek eredményeként az adattárházak kis méretűek és sokkal rugalmasabbak, mint egy teljes adattárház.

Miért van szükségünk a Data Martra?

A szervezetek számos gyakorlati okból támaszkodnak az adattárházakra:

• Az adatpiac javítja a felhasználók válaszidejét azáltal, hogy csökkenti a lekérdezett adatok mennyiségét.
• Könnyű hozzáférést biztosít a gyakran kért adatokhoz.
• Egy adatmart egyszerűbb és olcsóbban megvalósítható, mint egy vállalati adattárház.
• Agilis: amikor a modell megváltozik, egy kisebb adattárház gyorsan újraépíthető.
• Egy adatpiacot egyetlen szakértő határoz meg, míg egy adattárházat egy interdiszciplináris csapat, így a piac nyitottabb a változásokra.
• Az adatok particionálva vannak, ami nagyon részletes hozzáférés-vezérlési jogosultságokat tesz lehetővé.
• Az adatok szegmentálhatók és különböző hardver- vagy szoftverplatformokon tárolhatók.

Röviden, mivel egy adatmart az adatok kisebb, jól definiált szeleteit kezeli, gyorsabban felépíthető, olcsóbban üzemeltethető és könnyebben biztonságossá tehető, mint egy vállalati adattárház.

Az adatpiacok azonban nem mind ugyanúgy épülnek fel. A forrás, amelyből egy piac származik, meghatározza, hogy a három típus közül melyikkel dolgozunk.

A Data Mart típusai

Az adattárházaknak három fő típusa van, amelyeket az adatok forrása alapján különböztetnek meg:

1. Függő: A függő adattárházak közvetlenül működési forrásokból, külső forrásokból vagy mindkettőből nyerik az adatokat.
2. Független: Egy független adatpiac jön létre központi adattárház nélkül.
3. Hibrid: Egy hibrid adattárház adattárházakból vagy operációs rendszerekből képes adatokat fogadni.

Dependent Data Mart

Egy függő adattárház egyetlen adattárházból szerzi be a szervezet adatait, ami a központosítás előnyét biztosítja. Ha egy vagy több fizikai adattárházat kell létrehoznia, akkor azokat függő adattárházként konfigurálja.

Egy függő adattárház kétféleképpen építhető fel: az egyik esetben a felhasználók az igényektől függően hozzáférhetnek mind az adattárházhoz, mind az adattárházhoz, a másik esetben pedig csak az adattárházhoz lehet hozzáférni. A második megközelítés nem optimális, mert „adatroncstelepet” eredményezhet – olyan adatokat, amelyek egy közös forrásból származnak, de aztán selejteződnek és nagyrészt fel nem használják őket.

Independent Data Mart

Egy független adattárház központi adattárház nélkül jön létre. Ez a fajta adattárház ideális megoldás kisebb csoportok számára egy szervezeten belül.

Egy független adatpiacnak nincs kapcsolata sem egy vállalati adattárházzal, sem más adatpiaccal. Az adatai önállóan töltődnek be és elemződnek. Ez a megközelítés ellentétes az adattárház építésének fő okával: a vállalati adatok konzisztens, központosított tárhelyével, amelyet sok, különböző érdeklődésű felhasználó elemezhet.

Hybrid Data Mart

Egy hibrid adattárház az adattárházon túli forrásokból származó bemeneteket kombinál. Ez akkor segít, ha eseti integrációra van szükség – például miután egy új csoportot vagy terméket adnak a szervezethez.

Jól alkalmazható több adatbázist tartalmazó környezetekben, és gyors megvalósítást kínál a lehető legkevesebb adattisztítási erőfeszítéssel. A hibrid adatpiac nagy tárolási struktúrákat is támogat, és jól működik kisebb, adatközpontú alkalmazásokhoz.

A Datamart megvalósításának lépései

Egy adatpiac megvalósítása egy kifizetődő, de részletes folyamat. Öt fázison megy keresztül – tervezés, felépítés, feltöltés, hozzáférés és kezelés –, amelyeket az alábbiakban ismertetünk.

Tervezés

A tervezés az adatpiac megvalósításának első fázisa. Lefedi az összes feladatot az adatpiacra vonatkozó kezdeti kéréstől az igények összegyűjtéséig, és a logikai és fizikai adatpiac megtervezésével zárul.

A tervezési lépés a következő feladatokat foglalja magában:

• Az üzleti és technikai követelmények összegyűjtése és az adatforrások azonosítása.
• Az adatok megfelelő részhalmazának kiválasztása.
• Az adatpiac logikai és fizikai szerkezetének tervezése.

Az adatok a következő kritériumok alapján particionálhatók:

• találka
• Üzleti vagy funkcionális egység
• Földrajz
• A fentiek bármilyen kombinációja

Az adatok particionálhatók alkalmazás- vagy adatbázis-kezelő rendszer (DBMS) szintjén, bár az alkalmazásszintű particionálás ajánlott, mivel ez lehetővé teszi az adatmodell évenkénti módosítását az üzleti környezet változásával. A legtöbb adattárház egy dimenziós modell, például egy csillagsémát, hogy a lekérdezések gyorsak legyenek.

Milyen termékekre és technológiákra van szüksége?

Ebben a szakaszban elegendő egy egyszerű toll és papír. Az UML vagy entitás-kapcsolat diagramok létrehozását segítő eszközök metaadatokat is fűzhetnek a logikai és fizikai tervekhez.

felépítése

A megvalósítás második fázisa a konstruálás. Ez magában foglalja a fizikai adatbázis és a logikai struktúrák létrehozását.

Ez a lépés a következő feladatot foglalja magában:

• A korábbi fázisban tervezett fizikai adatbázis megvalósítása – például sémaobjektumok, például táblázatok, indexek és nézetek létrehozása.

Milyen termékekre és technológiákra van szüksége?

Egy adatpiac létrehozásához relációs adatbázis-kezelő rendszerre (RDBMS) van szükség. Az RDBMS számos olyan funkciót kínál, amelyek elengedhetetlenek egy adatpiac sikeréhez:

• Tárhelykezelés: Egy RDBMS tárolja és kezeli az adatokat, lehetővé téve rekordok létrehozását, hozzáadását és törlését.
• Gyors adathozzáférés: Egy SQL lekérdezéssel könnyedén lekérhet adatokat adott feltételek vagy szűrők alapján.
• Adat védelem: Az RDBMS képes helyreállni rendszerhibák, például áramkimaradás után, és visszaállítani az adatokat a biztonsági mentésekből, ha egy lemez meghibásodik.
• Többfelhasználós támogatás: Egyidejű hozzáférést kínál, így több felhasználó is olvashatja és módosíthatja az adatokat anélkül, hogy felülírnák egymás módosításait.
• Biztonság: Szabályozza, hogy mely felhasználók férhetnek hozzá az egyes objektumokhoz, és milyen műveleteket hajthatnak végre.

Népesedés

A harmadik fázisban az adatok feltöltésre kerülnek az adattárházba.

A feltöltési lépés a következő feladatokat foglalja magában:

• Térképping forrásadatokból céladatokká.
• Extraca forrásadatok feldolgozása.
• Az adatok tisztítása és átalakítása.
• Adatok betöltése az adattárházba.
• Metaadatok létrehozása és tárolása.

Milyen termékekre és technológiákra van szüksége?

Ezeket a feladatokat egy ETL-lel (pl.tract, Transform, Load) eszköz. Megvizsgálja az adatforrásokat, forrás-cél megfeleltetést végezping, majd extracts, átalakítja, megtisztítja és betölti az adatokat az adattárházba.

Útközben az eszköz metaadatokat is létrehoz – olyan részleteket, mint például az adatok forrása, frissessége, milyen módosítások történtek, és milyen szintű összesítést alkalmaztak.

Hozzáférés

A hozzáférés a negyedik lépés, és ez teszi lehetővé az adatok felhasználását: adatok lekérdezése, jelentések és diagramok készítése, valamint közzététele. A végfelhasználók lekérdezéseket küldenek be és megtekintik az eredményeket, gyakran a következőn keresztül: OLAP eszközök.

A hozzáférési lépés a következő feladatokat foglalja magában:

• Egy olyan meta réteg beállítása, amely az adatbázis-struktúrákat és az objektumneveket üzleti kifejezésekké fordítja, így a nem műszaki felhasználók könnyen hozzáférhetnek az adatpiachoz.
• Adatbázis-struktúrák beállítása és karbantartása.
• API-k és interfészek beállítása szükség esetén.

Milyen termékekre és technológiákra van szüksége?

Az adattárházat parancssorból vagy grafikus felhasználói felületről (GUI) érheted el. A grafikus felhasználói felületet általában azért részesítik előnyben, mert könnyen generál grafikonokat, és felhasználóbarátabb, mint a parancssor.

Kezelése

Az adattárház megvalósítási folyamatának utolsó fázisa az adminisztráció. A csapatok grafikus felhasználói felület vagy parancssor segítségével kezelik a folyamatos adminisztrációs feladatokat, például:

• Folyamatos felhasználói hozzáférés-kezelés.
• Rendszeroptimalizálás és finomhangolás a jobb teljesítmény érdekében.
• Friss adatok hozzáadása és kezelése az adattárházban.
• Helyreállítási forgatókönyvek tervezése a rendszer elérhetőségének fenntartása érdekében meghibásodás esetén.
• Hardver- és szoftverhibák utáni helyreállítás az adatok megőrzése mellett.

A Data Marts megvalósításának legjobb gyakorlatai

Az adatpiac megvalósítási folyamata során kövesse az alábbi ajánlott gyakorlatokat:

• Az adattárház forrásának strukturálása részlegek szerint.
• A megvalósítási ciklust hetekben mérd hónapok vagy évek helyett.
• Vonja be az összes érdekelt felet a tervezési és kivitelezési fázisba, mivel egy adatpiaci megvalósítás összetett lehet.
• Pontosan tervezze meg a költségvetést az adatpiac hardver-, szoftver-, hálózatépítési és megvalósítási költségeire.
• Még ha egy adattárház megosztja a hardvert, más szoftverre lehet szüksége a felhasználói lekérdezések kezeléséhez; mérje fel a gyors válaszokhoz szükséges extra feldolgozási teljesítményt és tárhelyet.
• Amikor egy adatpiac az adattárháztól eltérő helyen található, gondoskodjon elegendő hálózati kapacitásról a szükséges adatmennyiségek áthelyezéséhez.
• A betöltési időre vonatkozó költségvetés, amely a transzformációk összetettségének növekedésével növekszik.

A Data Mart előnyei és hátrányai

Mint minden architektúraválasztás, az adatpiac is egyértelmű előnyökkel jár, de néhány kompromisszummal is jár.

Előnyök

• Az adattárház a szervezet egészére kiterjedő adatok egy olyan részhalmazát tárolja, amely egy adott felhasználói csoport számára értékes.
• Költséghatékony alternatívája az adattárházaknak, amelyek felépítése költséges lehet.
• Az adattárház gyorsabb hozzáférést biztosít az adatokhoz.
• Könnyen használható, mivel a felhasználók speciális igényeihez igazodik, ami felgyorsíthatja az üzleti folyamatokat.
• Egy adatmart kevesebb implementációs időt igényel, mint egy adattárház, mivel csak az adatok egy részhalmazára koncentrál.
• Olyan historikus adatokat tartalmaz, amelyek segítenek az elemzőknek a trendek azonosításában.

Hátrányok

• A vállalatok időnként túl sok különálló, egymással nem összefüggő adattárházat hoznak létre, amelyeket nehéz fenntartani.
• Egy adatmart nem tud vállalatszintű adatelemzést nyújtani, mivel az adatkészlete korlátozott.

GYIK