ETL testimise õpetus

Mis on ETL?

ETL tähistab Extract-teisendus-koormusja see kirjeldab, kuidas andmed liiguvad alliksüsteemist andmelattu. Andmed on näitekstracvõetakse OLTP-andmebaasist, teisendatakse andmelao skeemile vastavaks ja laaditakse lao andmebaasi. Paljud laod sisaldavad andmeid ka mitte-OLTP-süsteemidest, näiteks tekstifaile, pärandrakendusi ja arvutustabeleid.

Näiteks võivad jaemüügipoel olla eraldi osakonnad, näiteks müük, turundus ja logistika. Iga osakond käsitleb kliendiandmeid iseseisvalt ja nende andmete salvestamise viis on erinev. Müügiosakond võib andmeid salvestada kliendi nime järgi, samas kui turundusosakond kasutab kliendi ID-d.

Kui ärimeeskonnad soovivad vaadata kliendi täielikku ostuajalugu erinevate turunduskampaaniate lõikes, muudab see omavahel mitteseotud andmete tõttu väga tüütuks. Lahendus on kasutada DataWarehouse'i et salvestada erinevatest allikatest pärit teavet ühtsesse struktuuri, kasutades ETL-i. ETL suudab erinevad andmekogumid muuta ühtseks struktuuriks, nii et BI-tööriistad saavad hiljem tuletada sisukaid teadmisi ja aruandeid.

Järgnev diagramm näitab ETL-testimise protsessi voogu ja põhimõisteid, mida te selles juhendis kasutate:

1) Näidetract

• Extracasjakohased andmed ühest või mitmest alliksüsteemist.

2) Teisendus

• Teisenda andmed DW (andmeladu) vormingusse.
• Koostamisvõtmed: võti on üks või mitu andmeatribuuti, mis identifitseerivad üksuse üheselt. Erinevad võtmete tüübid on primaarvõti, alternatiivvõti, võõrvõti, liitvõti ja asendusvõti. Andmeladu omab neid võtmeid ega luba kunagi ühelgi teisel üksusel neid määrata.
• Andmete puhastamine: pärast andmete kustutamisttracPärast puhastamist liigub see järgmisse etappi – puhastamise ja vastavusse viimise etappi. Puhastamine parandab puudujäägid ja tuvastab vead. Vastavusse viimine lahendab konfliktid ühildumatute andmekogumite vahel, et neid saaks kasutada ettevõtte andmelaos. Süsteem loob ka metaandmeid, mis aitavad diagnoosida lähtesüsteemi probleeme ja parandada andmete kvaliteeti.

3) Laadimine

• Laadige andmed DW-sse (andmelattu).
• Koondatud andmete loomine: koondandmed võtavad kokku ja salvestavad andmeid faktitabel lõppkasutajate päringute toimivuse parandamiseks.

Mis on ETL-testimine?

ETL-testimist tehakse tagamaks, et pärast äritegevuse ümberkujundamist allikast sihtkohta laaditud andmed on täpsed. See hõlmab ka andmete kontrollimist allika ja sihtkoha vahelistes erinevates etappides. Kuna ETL tähistab Extract-Transform-Laadimine, ETL-testimine hõlmab kõiki neid kolme etappi ja punkte, kus andmed nende vahel ristuvad.

Miks on ETL-testimine oluline?

Kui olete aru saanud, mis on ETL-testimine, on järgmine küsimus, miks organisatsioonid sellesse nii palju pingutusi investeerivad. Äriotsused tuginevad õigetele, täielikele ja usaldusväärsetele andmetele, seega võib üksainus teisendusviga mõjutada finantsaruandeid, kliendianalüütikat ja regulatiivseid avalikustamisi.

Järgmised punktid selgitavad tugeva ETL-testimise praktilist väärtust:

• Andmete täpsus: See kinnitab, et ärireeglite abil teisendatud väärtused vastavad dokumenteeritud kaardileping spetsifikatsioonid, vältides vaikset korruptsiooni.
• Usaldusväärne aruandlus: Armatuurlauad ja ärianalüütika tööriistad sõltuvad andmeladudest, seega kaitsevad kontrollitud ETL-kanalid iga allolevat aruannet ja KPI-d.
• Normatiivide järgimine: Sellised tööstusharud nagu pangandus, tervishoid ja kindlustus peavad tõestama, et andmete päritolu ja terviklikkus säilivad otsast lõpuni.
• Vähendatud ümbertöötlemine: Madalamates keskkondades defektide avastamine aitab vältida kulukaid tootmise ümberlaadimisi, käsitsi vastavusse viimisi ja klientidega kokkupuutumise vigu.
• Toimivuse tagamine: ETL-testimine mõõdab koormusaknaid, läbilaskevõimet ja kitsaskohti, et ladu jätkaks skaleerimist andmemahu kasvades.

Kui need motivatsioonid on selged, tutvustatakse järgmises osas struktureeritud protsessi, mida ETL-testijad reaalsetes projektides järgivad.

ETL-i testimisprotsess

Sarnaselt teiste testimisprotsessidega läbib ka ETL erinevaid etappe. ETL-testimisprotsessi erinevad etapid on järgmised:

ETL-testimine toimub viies etapis:

1. Andmeallikate ja nõuete tuvastamine
2. Andmehõive
3. Rakenda äriloogikat ja dimensioonilist modelleerimist
4. Andmete koostamine ja sisestamine
5. Koostage aruandeid

Pidades silmas kõrgetasemelist protsessi, vaatame konkreetseid testimistüüpe, mis sellesse elutsüklisse sobivad.

ETL-i testimise tüübid

1. Tootmise valideerimise testimine
   Testimise protsess: Seda tüüpi ETL-testimist, mida nimetatakse ka tabeli tasakaalustamiseks või tootmise kooskõlastamiseks, tehakse andmetega nende liikumisel tootmissüsteemidesse. Äriotsuste toetamiseks peavad tootmisandmed olema õiges järjekorras. Informaatika Andmete valideerimise valik pakub ETL-testimise automatiseerimise ja haldamise võimalusi, et tootmissüsteemid ei oleks vigaste andmete poolt ohustatud.
2. Allikas Target Testimine (valideerimistestimine)
   Testimise protsess: Seda tüüpi testimine kontrollib, kas teisendatud andmeväärtused vastavad oodatavatele sihtväärtustele.
3. taotlus Upgrades
   Testimise protsess: Seda tüüpi ETL-testimist saab genereerida automaatselt, mis säästab oluliselt testi arendusaega. See kontrollib, kas andmed on olemas.tracVanemast rakendusest või repositooriumist pärit andmed vastavad uues rakenduses või repositooriumis olevatele andmetele.
4. Metaandmete testimine
   Testimise protsess: Metaandmete testimine hõlmab andmetüübi kontrolli, andmete pikkuse kontrolli ning indeksi või piirangute kontrolli.
5. Andmete täielikkuse testimine
   Testimise protsess: Andmete täielikkuse testimine kontrollib, kas kõik oodatavad andmed laaditakse allikast sihtkohta. Levinud testid hõlmavad kirjete arvu, agregaatide ja tegelike andmete võrdlemist ja valideerimist allika ja sihtkoha veergude vahel, kui teisendus on lihtne või puudub.
6. Andmete täpsuse testimine
   Testimise protsess: See testimine tagab, et andmed laaditakse ja teisendatakse ootuspäraselt täpselt.
7. Andmete teisendamise testimine
   Testimise protsess: Testimisandmete teisendamist ei saa sageli ühe allikaga saavutada. SQL päring ja väljundi võrdlus. Teisendusreeglite kontrollimiseks võib iga rea ​​jaoks vaja minna mitut SQL-päringut.
8. Andmekvaliteedi testimine
   Testimise protsess:

   Andmekvaliteedi testide hulka kuuluvad süntaksitestid ja viitetestid. Need ennetavad ebaõigete kuupäevade või tellimisnumbrite põhjustatud äriprotsesside vigu.

   Süntaksitestid näitavad määrdunud andmeid sobimatute märkide, tähemärkide mustrite ja vale suur- või väiketähtede järjestuse põhjal.

   Võrdlustestid kontrollivad andmeid andmemudeli suhtes. Näiteks: kliendi ID.

   Andmete kvaliteedi testimine hõlmab ka arvukontrolle, kuupäevakontrolle, täpsuskontrolle, andmekontrolle ja nullkontrolle.

9. Järkjärguline ETL-testimine
   Testimise protsess: See testimine kontrollib vanade ja uute andmete terviklikkust uute andmete lisamisel. Inkrementaalne testimine kinnitab, et lisamised ja värskendused töödeldakse inkrementaalse ETL-protsessi käigus ootuspäraselt.
10. GUI/navigatsiooni testimine
    Testimise protsess: See testimine kontrollib esiotsa aruannete navigatsiooni ja graafilise kasutajaliidese aspekte.

Kuidas luua ETL-i testjuhtumit

ETL-testimine on kontseptsioon, mida saab rakendada erinevatele tööriistadele ja andmebaasidele infohalduse valdkonnas. ETL-testimise eesmärk on tagada, et pärast ettevõtte ümberkujundamist allikast sihtkohta laaditud andmed on täpsed. See hõlmab ka andmete kontrollimist allika ja sihtkoha vahelistes erinevates etappides.

ETL-testimise ajal kasutab ETL-testija alati kahte dokumenti:

1. ETL-kaartping lehed: ETL-kaartping See leht sisaldab kogu teavet lähte- ja sihttabelite kohta, sealhulgas iga veeru ja selle otsingu viitetabelites. ETL-testijad peavad SQL-päringute kasutamisega harjuma, kuna ETL-testimine võib hõlmata suurte päringute kirjutamist mitme ühendusega andmete valideerimiseks mis tahes etapis. ETL-kaartping lehed pakuvad olulist abi andmete kontrollimiseks päringute kirjutamisel.
2. Allika ja sihtkoha andmebaasi skeem: Seda tuleks käepärast hoida, et kaardil olevaid detaile kontrollida.ping lehed.

ETL-i testimise stsenaariumid ja katsejuhtumid

1. kaartping dokumendi valideerimine
   Testijuhtumid: Kontrollige, kas kaardil on vastav ETL-teave olemas.ping doc. Igal kaardil peaks olema muudatuste logi.ping dok.
2. Kinnitamine
   Testijuhtumid:

   1) Valideerige lähte- ja sihttabeli struktuuri vastava kaardi suhtesping dok.
   2) Lähteandmete tüüp ja sihtandmete tüüp peaksid olema samad.
   3) Andmetüüpide pikkus nii allikas kui ka sihtkohas peaks olema võrdne.
   4) Kontrollige, et andmevälja tüübid ja vormingud on määratud.
   5) Lähteandmetüübi pikkus ei tohiks olla väiksem kui sihtandmetüübi pikkus.
   6) Kontrollige tabeli veergude nimesid kaardi suhtesping dok.

3. Piirangute valideerimine
   Testijuhtumid: Veenduge, et konkreetse tabeli piirangud on ootuspäraselt määratletud.
4. Andmete järjepidevuse probleemid
   Testijuhtumid:

   1) Konkreetse atribuudi andmetüüp ja pikkus võivad failides või tabelites erineda isegi siis, kui semantiline definitsioon on sama.
   2) Terviklikkuse piirangute väärkasutamine.

5. Täielikkuse küsimused
   Testijuhtumid:

   1) Veenduge, et kõik oodatavad andmed on sihttabelisse laaditud.
   2) Võrrelge allika ja sihtkoha kirjete arvu.
   3) Kontrollige tagasilükatud kirjeid.
   4) Kontrollige, et sihttabelite veergudes poleks andmeid kärbitud.
   5) Kontrollige piirväärtuste analüüsi.
   6) Võrrelge lattu laaditud andmete ja lähteandmete võtmeväljade unikaalseid väärtusi.

6. Korrektsusprobleemid
   Testijuhtumid:

   1) Valesti kirjutatud või ebatäpselt salvestatud andmed.
   2) Null, mitteunikaalsed või vahemikust väljas olevad andmed.

7. Transformation
   Testijuhtumid: Kinnitage, et iga ärireegel ja teisendusloogika kaardilping dokument rakendatakse lähteandmetele õigesti enne sihtkohta jõudmist.
8. Andmekvaliteet
   Testijuhtumid:

   1) Numbrikontroll: numbriliste vormingute ja väärtuste valideerimine.
   2) Kuupäeva kontroll: kuupäevad peavad järgima ühtset vormingut ja olema eri kirjetes ühtsed.
   3) Täppiskontroll.
   4) Andmete kontroll.
   5) Nullkontroll.

9. Null Validate
   Testijuhtumid: Kontrollige tühiväärtusi, kui konkreetse veeru jaoks on määratud „Not Null”.
10. Duplikaatkontroll
    Testijuhtumid:

    1) Kinnitage unikaalse võtme, primaarvõtme ja kõigi muude veergude õigsus, mis peaksid ärivajaduste kohaselt olema unikaalsed, et veenduda duplikaatridade puudumises.
    2) Kontrollige, kas mõnes veerus on duplikaatväärtusi, nttracmitmest allikaveerust ja ühendatud üheks veeruks.
    3) Kliendi nõuete kohaselt veenduge, et sihtkoha mitme veeru kombinatsioonis ei oleks duplikaate.

11. Valideerimise kuupäev
    Testijuhtumid: Kuupäevaväärtusi kasutatakse paljudes ETL-i arenduse valdkondades:

    1) Rea loomise kuupäeva teadasaamiseks.
    2) Tuvastage aktiivsed kirjed ETL-i arenduse vaatenurgast.
    3) Tuvastage aktiivsed kirjed ärivajaduste vaatenurgast.
    4) Mõnikord genereeritakse kuupäevaväärtuste põhjal värskendusi ja lisamisi.

12. Täielik andmete valideerimine
    Testijuhtumid:

    1) Valideerige lähte- ja sihttabelites olev täielik andmestik, kasutades parima lahendusena miinuspäringut.
    2) Peate tegema allika miinus sihtmärgi ja sihtmärgi miinus allika lahutamise toimingud.
    3) Kui miinuspäring tagastab mingi väärtuse, tuleks neid ridu pidada mittevastavateks.
    4) Ühenda allika ja sihtkoha read ristlõikelause abil.
    5) Funktsiooni intersect tagastatud arv peaks vastama lähte- ja sihttabelite individuaalsetele arvudele.
    6) Kui miinuspäring tagastab read ja lõikepunktide arv on väiksem kui allika või sihtpunkti arv, on olemas duplikaatread.

13. Andmete puhtus
    Testijuhtumid: Enne lavastusalasse laadimist tuleks mittevajalikud veerud kustutada.

ETL-vigade tüübid

Isegi tugevate testide korral võivad ETL-torustikud erinevatel viisidel ebaõnnestuda. Allolev pilt võtab kokku veakategooriad, mida peaksite jälgima, ja järgnev tabel kirjeldab igaüht neist.

Vigade tüüp	Kirjeldus
Kasutajaliidese vead/kosmeetikavead	• Seotud rakenduse graafilise kasutajaliidesega • Fondi stiil, fondi suurus, värvid, joondus, õigekirjavead, navigeerimine ja nii edasi
Piirväärtuse analüüsiga (BVA) seotud viga	• Minimaalsed ja maksimaalsed väärtused
Ekvivalentsusklassi partitsiooniga (ECP) seotud viga	• Kehtiv ja sobimatu tüüp
Sisend/väljund vead	• Kehtivaid väärtusi ei aktsepteerita • Lubatud on sobimatud väärtused
Arvutusvead	• Matemaatilised vead • Lõpptulemus on vale
Laadi seisukorra vead	• Ei luba mitut kasutajat • Ei võimalda kliendi oodatavat koormust
Võistlusseisundi vead	• Süsteemi krahh ja hangumine • Süsteem ei saa kliendiplatvorme käitada
Versioonikontrolli vead	• Logo vastet ei leitud • Versiooniteavet pole saadaval • Tavaliselt esineb Regressioonitestimine
H/W vead	• Seade ei reageeri rakendusele
Abiallika vead	• Vead abidokumentides

Andmelao testimine

Andmelao testimine on testimismeetod, mille käigus testitakse andmelaos olevaid andmeid terviklikkuse, usaldusväärsuse, täpsuse ja järjepidevuse osas, et need vastaksid ettevõtte andmeraamistikule. Andmelao testimise peamine eesmärk on tagada, et andmelao integreeritud andmed oleksid piisavalt usaldusväärsed, et ettevõte saaks nende põhjal otsuseid langetada. Kuigi ETL-testimine keskendub andmete liikumisele, hõlmab andmelao testimine laiemat salvestus- ja aruandluskihti, mida ETL lõppkokkuvõttes toidab.

Andmebaasi testimise ja ETL testimise erinevus

Kuigi mõlemad distsipliinid töötavad struktureeritud andmetega, vastavad nad erinevatele küsimustele. Allolev tabel toob esile praktilise erinevuse:

ETL testimine	Andmebaasi testimine
Kontrollib, kas andmeid teisaldatakse ootuspäraselt.	Peamine eesmärk on kontrollida, kas andmed vastavad andmemudelis määratletud reeglitele ja standarditele.
Kontrollib, kas allika ja sihtkoha loendused vastavad ja kas teisendatud andmed on ootuspärased.	Kontrollib, et puuduvad orbkirjed ja et välis-primaarvõtme seosed säilivad.
Kontrollib, et ETL-i ajal säiliksid võõrvõtme primaarvõtme seosed.	Kontrollib, et puuduvad üleliigsed tabelid ja et andmebaas on optimaalselt normaliseeritud.
Kontrollib laaditud andmete dubleerimist.	Kontrollib, kas vajalikes veergudes on andmeid puudu.

Jõudluskontroll ETL-is

Jõudluskontroll ETL-is on testimistehnika, mis tagab, et ETL-süsteem suudab hakkama saada mitme kasutaja ja tehingu koormusega. ETL-i peamine eesmärk Jõudluse testimine eesmärk on seansi jõudluse optimeerimine ja parandamine jõudluse kitsaskohtade tuvastamise ja kõrvaldamise teel. Allika- ja sihtandmebaasid, kaartpings, seansid ja süsteem ise võivad kõik sisaldada kitsaskohti.

Üks parimaid jõudlustestimise ja häälestamise tööriistu on Informatica.

ETL-i testija kohustused

ETL-testija peamised kohustused jagunevad kolme kategooriasse:

• Lavalaud / SFS või MFS
• Rakendatud ärimuutmise loogika
• Target tabeli laadimine etapifailist või tabelist pärast teisenduse rakendamist

Mõned ETL-testija igapäevased ülesanded on järgmised:

• Testige ETL tarkvara
• ETL-andmelao testimiskomponendid
• Käivita taustsüsteemi andmepõhiseid teste
• Loo, kujunda ja teosta testjuhtumid, testimisplaanid ja testimisvahendid
• Tuvastage probleemid ja pakkuge lahendusi võimalikele probleemidele
• Nõuete ja projekteerimisspetsifikatsioonide kinnitamine
• Andmeedastuste valideerimine ja lamefailide testimine
• Kirjutage SQL-päringuid erinevate stsenaariumide jaoks, näiteks loendustestide jaoks

ETL testimise automatiseerimine

ETL-testimise üldine metoodika on SQL-skriptide või andmete visuaalse analüüsi kasutamine. Need lähenemisviisid on aeganõudvad, veaohtlikud ja pakuvad harva täielikku teavet. testi katvusKiirendada teostust, parandada katvust, vähendada kulusid ja täiustada defekt Tootmis- ja arenduskeskkondades tuvastamiseks on automatiseerimine praegu hädavajalik. Üks selline tööriist on Informatica.

Kaasaegsed meeskonnad ühendavad traditsioonilise automatiseerimise tehisintellekti abilistega, mis pakuvad välja transformatsiooniteste, genereerivad sünteetilisi lähteandmeid ja märgistavad skeemi nihke, vabastades testijad keskenduma keerukale äriloogikale, mitte korduvale skriptide hooldusele.

ETL-i testimise parimad tavad

1. Veenduge, et andmed oleksid õigesti teisendatud.
2. Ilma andmete kadumise või kärpimiseta tuleks prognoositud andmed andmelattu laadida.
3. Veenduge, et ETL-rakendus lükkab sobimatud andmed asjakohaselt tagasi, asendab need vajaduse korral vaikeväärtustega ja annab neist teada.
4. Skaleeritavuse ja jõudluse valideerimiseks veenduge, et andmed laaditakse andmeladusse ettenähtud ja eeldatava aja jooksul.
5. Kõigil meetoditel peaksid olema sobivad ühiktestid, olenemata nähtavusest.
6. Ühiktestide efektiivsuse mõõtmiseks peaksid kõik need kasutama sobivaid katvustehnikaid.
7. Püüdle ühe väite poole testi kohta.
8. Looma ühikutestid mis on suunatud eranditele.

Tutvu - ETL testimise intervjuu küsimused ja vastused

KKK