ETL tesztelési oktatóanyag

Mi az ETL tesztelés?

Az ETL-tesztelés annak biztosítására szolgál, hogy az üzleti átalakítás után a forrásból a célhelyre betöltött adatok pontosak legyenek. Ez magában foglalja az adatok ellenőrzését is különböző középső szakaszokban, amelyeket a forrás és a cél között használnak. Az ETL az Extract-Transform-Load rövidítése.

Adattárház tesztelés

Adattárház tesztelés egy olyan tesztelési módszer, amelyben az adattárházban lévő adatok integritását, megbízhatóságát, pontosságát és konzisztenciáját tesztelik annak érdekében, hogy megfeleljenek a vállalati adatkeretrendszernek. Az adattárház tesztelésének fő célja annak biztosítása, hogy az adattárházon belüli integrált adatok elég megbízhatóak legyenek ahhoz, hogy a vállalat döntéseket hozzon.

Mi az ETL?

Az ETL az Extract-Transform-Load rövidítése, és ez egy olyan folyamat, amely során az adatok betöltődnek a forrásrendszerből az adattárházba. Az adatokat egy OLTP-adatbázisból nyerik ki, átalakítják az adattárház-sémának megfelelően, és betöltik az adattárház-adatbázisba. Sok adattárház nem OLTP-rendszerekből származó adatokat is tartalmaz, például szövegfájlokat, örökölt rendszereket és táblázatokat.

Lássuk, hogyan működik

Például van egy kiskereskedelmi üzlet, amelynek különböző részlegei vannak, mint például értékesítés, marketing, logisztika stb. Mindegyikük önállóan kezeli a vásárlói információkat, és az adatok tárolásának módja egészen más. Az értékesítési osztály a vevő neve, míg a marketing osztály az ügyfél azonosítója szerint tárolta.

Most, ha ellenőrizni akarják a vásárló történetét, és tudni akarják, hogy milyen termékeket vásárolt a különböző marketingkampányok miatt; nagyon unalmas lenne.

A megoldás az a adattárház a különböző forrásokból származó információk egységes struktúrában történő tárolására ETL segítségével. Az ETL a különböző adatkészleteket egységes szerkezetbe tudja alakítani.Later használja a BI-eszközöket, hogy értelmes betekintést és jelentéseket nyerjen ezekből az adatokból.

Az ETL-tesztelési oktatóanyag következő diagramja bemutatja az ETL-tesztelés folyamatának útitervét és a különböző ETL-tesztelési koncepciókat:

kivonat

Vonja ki a releváns adatokat

Átalakítás

Adatok átalakítása DW (Data Warehouse) formátumba
Összeépítési kulcsok – A kulcs egy vagy több adatattribútum, amely egyedileg azonosítja az entitást. Különféle típusú kulcsok az elsődleges kulcs, az alternatív kulcs, az idegen kulcs, az összetett kulcs, a helyettesítő kulcs. Az adattárház birtokolja ezeket a kulcsokat, és soha nem engedélyezi más entitások hozzárendelését.
Adatok törlése: Az adatok kinyerése után a következő fázisba lépnek, az adatok tisztításának és megfeleltetésének. A tisztítás elvégzi az adatok kihagyását, valamint a hibák azonosítását és kijavítását. A megfelelés az inkompatibilis adatok közötti ütközések feloldását jelenti, hogy azok felhasználhatók legyenek egy vállalati adattárházban. Ezeken kívül ez a rendszer metaadatokat hoz létre, amelyek a forrásrendszeri problémák diagnosztizálására és az adatok minőségének javítására szolgálnak.

Terhelés

Adatok betöltése a DW-be (Data Warehouse)
Aggregátumok készítése – Az aggregátum létrehozása a rendelkezésre álló adatok összesítését és tárolását jelenti ténytáblázat a végfelhasználói lekérdezések teljesítményének javítása érdekében.

ETL tesztelési folyamat

A többi tesztelési folyamathoz hasonlóan az ETL is különböző fázisokon megy keresztül. Az ETL tesztelési folyamat különböző fázisai a következők

Az ETL tesztelése öt szakaszban történik

Az adatforrások és követelmények azonosítása
Adatgyűjtés
Az üzleti logikák és a dimenziós modellezés alkalmazása
Adatok összeállítása és feltöltése
Jelentések készítése

Az ETL tesztelés típusai

A tesztelés típusai	Tesztelési folyamat
Gyártás érvényesítési tesztelése	„Táblázatkiegyenlítés” vagy „termelési egyeztetés” az ilyen típusú ETL-tesztelés az adatokon történik, amikor azok átkerülnek a termelési rendszerekbe. Az üzleti döntések alátámasztása érdekében a termelési rendszerekben lévő adatoknak a megfelelő sorrendben kell lenniük. Informatikai Az adatellenőrzési lehetőség az ETL tesztelési automatizálási és felügyeleti képességeit biztosítja annak biztosítására, hogy az adatok ne veszélyeztessék a termelési rendszereket.
Forrás ide Target Tesztelés (érvényesítési tesztelés)	Az ilyen típusú tesztelés annak ellenőrzésére szolgál, hogy a transzformált adatértékek a várt adatértékek-e.
Alkalmazás Upgrades	Az ilyen típusú ETL tesztelés automatikusan generálható, jelentős tesztfejlesztési időt takarítva meg. Az ilyen típusú tesztelés ellenőrzi, hogy egy régebbi alkalmazásból vagy tárhelyből kinyert adatok pontosan megegyeznek-e a lerakat vagy új alkalmazás adataival.
Metaadat tesztelés	A metaadat-tesztelés magában foglalja az adattípus-ellenőrzés, az adathossz-ellenőrzés és az index/kényszer-ellenőrzés tesztelését.
Az adatok teljességének tesztelése	Annak ellenőrzésére, hogy az összes várt adat be van-e töltve a célba a forrásból, az adatok teljességének tesztelése történik. A futtatható tesztek némelyike a számlálások, aggregátumok és tényleges adatok összehasonlítása és érvényesítése a forrás és a cél között az egyszerű transzformációval vagy transzformáció nélküli oszlopok esetében.
Adatpontossági tesztelés	Ezt a tesztelést annak biztosítására végzik, hogy az adatok pontosan be legyenek töltve és a várt módon átalakítva legyenek.
Adattranszformációs tesztelés	Az adattranszformáció tesztelése megtörténik, mivel ez sok esetben nem érhető el egyetlen forrás írásával SQL lekérdezés és a kimenet összehasonlítása a céllal. Előfordulhat, hogy minden sorhoz több SQL-lekérdezést kell futtatni az átalakítási szabályok ellenőrzéséhez.
Adatminőség tesztelése	Az adatminőség-tesztek szintaktikai és referenciateszteket tartalmaznak. Annak érdekében, hogy elkerüljük a dátumból vagy a rendelésszámból eredő hibákat az üzleti folyamat során, adatminőségi tesztet végeznek. Szintaktikai tesztek: Piszkos adatokat jelent, érvénytelen karakterek, karakterminta, helytelen kis- vagy nagybetűk stb. alapján. Referencia tesztek: Az adatmodellnek megfelelően ellenőrzi az adatokat. Például: Ügyfél-azonosító Az adatminőség-vizsgálat magában foglalja a számellenőrzést, a dátumellenőrzést, a precíziós ellenőrzést, az adatellenőrzést, a nulla ellenőrzést stb.
Növekményes ETL tesztelés	Ez a tesztelés a régi és az új adatok adatintegritásának ellenőrzésére szolgál új adatok hozzáadásával. A növekményes tesztelés ellenőrzi, hogy a beillesztések és frissítések feldolgozása a várt módon történik-e a növekményes ETL-folyamat során.
GUI/navigációs tesztelés	Ez a tesztelés a kezelőfelületi jelentések navigációs vagy grafikus felhasználói felületének ellenőrzésére szolgál.

Hogyan készítsünk ETL tesztesetet

Az ETL tesztelés egy olyan koncepció, amely az információkezelési ipar különböző eszközeire és adatbázisaira alkalmazható. Az ETL tesztelés célja annak biztosítása, hogy az üzleti átalakítás után a forrásból a célba betöltött adatok pontosak legyenek. Ez magában foglalja az adatok ellenőrzését is különböző középső szakaszokban, amelyeket a forrás és a cél között használnak.

Az ETL-tesztelés során két olyan dokumentum van, amelyet az ETL-tesztelő mindig használ

ETL leképezési lapok:Az ETL leképezési lapok a forrás- és céltáblázatok összes információját tartalmazzák, beleértve az egyes oszlopokat és azok kikeresését a referenciatáblázatokban. Az ETL-tesztelőknek kényelmesnek kell lenniük az SQL-lekérdezések kezelésében, mivel az ETL-tesztelés során nagy lekérdezéseket kell írni több csatlakozással, hogy az adatokat az ETL bármely szakaszában érvényesítse. Az ETL leképezési lapok jelentős segítséget nyújtanak az adatellenőrzési lekérdezések írásakor.
DB forrásséma, Target: Tartsa kéznél, hogy ellenőrizze a térképlapokon található részleteket.

ETL teszt forgatókönyvek és tesztesetek

Teszt forgatókönyv	Tesztsorozat
Leképezési dokumentum érvényesítése	Ellenőrizze a leképezési dokumentumot, hogy megadja-e a megfelelő ETL-információkat vagy sem. A változásnaplót minden leképezési dokumentumban meg kell őrizni.
Érvényesítés	Érvényesítse a forrás- és céltábla szerkezetét a megfelelő leképezési dokumentumhoz képest. A forrásadattípusnak és a céladattípusnak meg kell egyeznie Az adattípusok hosszának a forrásban és a célban egyenlőnek kell lennie Ellenőrizze, hogy az adatmezőtípusok és -formátumok meg vannak-e határozva A forrás adattípus hossza nem lehet kevesebb, mint a cél adattípus hossza Érvényesítse a táblázat oszlopainak nevét a leképezési dokumentumhoz képest.
Korlátozás érvényesítése	Győződjön meg arról, hogy a megszorítások meghatározott táblához a várt módon vannak megadva
Adatkonzisztencia problémák	Egy adott attribútum adattípusa és hossza fájlonként vagy táblázatonként változhat, bár a szemantikai meghatározás ugyanaz. Az integritási korlátokkal való visszaélés
Teljességgel kapcsolatos kérdések	Győződjön meg arról, hogy az összes várt adat betöltődik a céltáblába. Hasonlítsa össze a rekordok számát a forrás és a cél között. Ellenőrizze az elutasított rekordokat Az ellenőrzési adatokat nem szabad csonkolni a céltáblázatok oszlopában Ellenőrizze a határérték elemzést Összehasonlítja a kulcsmezők egyedi értékeit a WH-ba betöltött adatok és a forrásadatok között
Helyességi problémák	Helytelenül elírt vagy pontatlanul rögzített adatok Null, nem egyedi vagy tartományon kívüli adatok
Átalakítás	Átalakítás
Adatminőség	Számellenőrzés: Számozni kell és érvényesíteni kell Dátumellenőrzés: követniük kell a dátumformátumot, és minden rekordban azonosnak kell lenniük Precíziós ellenőrzés Adatellenőrzés Null ellenőrzés
Null Validate	Ellenőrizze a null értékeket, ahol egy adott oszlophoz „Not Null” van megadva.
Duplikált ellenőrzés	Az egyedi kulcsnak, az elsődleges kulcsnak és minden más oszlopnak egyedinek kell lennie, mivel az üzleti követelményeknek megfelelően ismétlődő sorok vannak Ellenőrizze, hogy vannak-e ismétlődő értékek bármely olyan oszlopban, amely a forrás több oszlopából kinyeri és egy oszlopba egyesíti Az ügyfél követelményei szerint biztosítani kell, hogy ne legyenek ismétlődések több oszlop kombinációjában, csak a célon belül
Érvényesítés dátuma	A dátumértékek sok területet használnak az ETL fejlesztésben A sor létrehozásának dátumának megismerése Azonosítsa az aktív rekordokat az ETL fejlesztési perspektívája szerint Azonosítsa az aktív rekordokat az üzleti követelmények szempontjai szerint Néha a dátumértékek alapján jönnek létre a frissítések és a beszúrások.
Teljes adatérvényesítés	A teljes adatkészlet érvényesítése a forrás- és céltáblázatban, mínusz egy lekérdezés a legjobb megoldásban Forrás mínusz célt és cél mínusz forrást kell megadnunk Ha a mínusz lekérdezés bármilyen értéket ad vissza, akkor ezeket nem egyező soroknak kell tekinteni Meg kell egyeznie a soroknak a forrás és a cél között az intersect utasítás használatával A metszéspont által visszaadott számnak meg kell egyeznie a forrás- és céltáblák egyedi számával Ha a sorok mínusz lekérdezési visszatérési értéke és a metszéspontok száma kisebb, mint a forrásszám vagy a céltábla, akkor úgy tekinthetjük, hogy léteznek ismétlődő sorok.
Adattisztaság	A szükségtelen oszlopokat törölni kell, mielőtt betöltené az átmeneti területre.

Az ETL hibák típusai

A hibák típusa	Description
Felhasználói felület hibák/kozmetikai hibák	Az alkalmazás grafikus felhasználói felületéhez kapcsolódik Betűstílus, betűméret, színek, igazítás, helyesírási hibák, navigáció és így tovább
A határérték-elemzéssel (BVA) kapcsolatos hiba	Minimális és maximális értékek
Egyenértékűségi osztályú particionálással (ECP) kapcsolatos hiba	Érvényes és érvénytelen típus
Bemeneti/kimeneti hibák	Érvényes értékeket nem fogadunk el Érvénytelen értékek elfogadva
Számítási hibák	Matematikai hibák A végső kimenet hibás
Állapothibák betöltése	Nem engedélyez több felhasználót Nem teszi lehetővé az ügyfél által várt terhelést
Race Condition hibák	A rendszer összeomlik és lefagy A rendszer nem tud kliens platformokat futtatni
Verzióvezérlő hibák	Nincs egyező logó Nem áll rendelkezésre verzió információ Ez általában ben fordul elő Regressziós teszt
H/W hibák	Az eszköz nem válaszol az alkalmazásra
Súgóforrás hibái	Hibák a súgódokumentumokban

Különbség az adatbázis-tesztelés és az ETL-teszt között

ETL tesztelés	Adatbázis tesztelése
Ellenőrzi, hogy az adatok a várt módon mozognak-e	Az elsődleges cél annak ellenőrzése, hogy az adatok megfelelnek-e az Adatmodellben meghatározott szabályoknak/szabványoknak
Ellenőrzi, hogy a forrásban és a célban szereplő számok megegyeznek-e Ellenőrzi, hogy az átalakított adatok megfelelnek-e az elvárásoknak	Ellenőrizze, hogy nincsenek-e árva rekordok, és hogy a külföldi és elsődleges kulcskapcsolatok fenn vannak-e
Ellenőrzi, hogy az idegen elsődleges kulcs kapcsolatok megmaradtak-e az ETL során	Ellenőrzi, hogy nincsenek-e redundáns táblák, és az adatbázis optimálisan normalizálva van-e
Ellenőrzi a betöltött adatok megkettőzését	Ellenőrizze, hogy hiányoznak-e adatok a szükséges oszlopokból

Az ETL-tesztelő feladatai

Az ETL-tesztelő fő feladatai három kategóriába sorolhatók

Színpadasztal/ SFS vagy MFS
Üzleti átalakítási logika alkalmazott
Target táblázat betöltése szakaszfájlból vagy táblából egy transzformáció alkalmazása után.

Az ETL-tesztelő feladatai közé tartozik

Tesztelje az ETL szoftvert
Az ETL adattárház összetevőinek tesztelése
Futtassa le a háttéradat-vezérelt tesztet
Készítsen, tervezzen és hajtson végre teszt esetek, teszttervek és tesztheveder
Azonosítsa a problémát, és kínáljon megoldást a lehetséges problémákra
Követelmények és tervezési előírások jóváhagyása
Adatátvitel és Teszt lapos fájl
SQL-lekérdezések3 írása különféle forgatókönyvekhez, például a számlálási teszthez

Teljesítményteszt az ETL-ben

Teljesítményteszt az ETL-ben egy tesztelési technika annak biztosítására, hogy egy ETL rendszer képes-e kezelni több felhasználó és tranzakció terhelését. Az ETL elsődleges célja Teljesítményfelmérés célja a munkamenet teljesítményének optimalizálása és javítása a teljesítmény szűk keresztmetszetek azonosításával és kiküszöbölésével. A forrás- és céladatbázisok, leképezések, szekciók és a rendszer teljesítménybeli szűk keresztmetszetek lehetnek.

A teljesítményteszthez/tuningoláshoz használt egyik legjobb eszköz az Informatica.

Az ETL tesztelés automatizálása

Az ETL-tesztelés általános módszertana az SQL-szkriptek használata, vagy az adatok „szembe vétele” teszt lefedettség. Felgyorsítani, javítani a lefedettséget, csökkenteni a költségeket, javítani Disszidál Az ETL tesztelés észlelési aránya termelési és fejlesztési környezetben, az automatizálás az óra igénye. Az egyik ilyen eszköz az Informatika.

Az ETL-tesztelés legjobb gyakorlatai

Győződjön meg arról, hogy az adatok megfelelően vannak átalakítva
A kivetített adatokat adatvesztés és csonkítás nélkül kell betölteni az adattárházba
Győződjön meg arról, hogy az ETL-alkalmazás megfelelően elutasítja és alapértelmezett értékekkel helyettesíti, és érvénytelen adatokat jelent
Gondoskodni kell arról, hogy az adatok az adattárházba az előírt és elvárt időkereteken belül legyenek betöltve a méretezhetőség és a teljesítmény megerősítése érdekében
Minden módszernek megfelelő egységteszttel kell rendelkeznie, függetlenül a láthatóságtól
Hatékonyságuk mérésére minden egységtesztnek megfelelő lefedettségi technikákat kell alkalmaznia
Törekedjen egy állításra tesztesetenként
Teremt egység tesztek amelyek kivételeket céloznak meg

Kijelentkezés - ETL tesztelési interjú kérdések és válaszok

Talán tetszene: