Vodič za testiranje ETL-a

Što je ETL?

ETL zalaže za Extract-Transformacija-Učitavanje, i opisuje kako se podaci premještaju iz izvornog sustava u skladište podataka. Podaci su extraciz OLTP baze podataka, transformirani kako bi odgovarali shemi skladišta podataka i učitani u bazu podataka skladišta. Mnoga skladišta također uključuju podatke iz sustava koji nisu OLTP, kao što su tekstualne datoteke, naslijeđene aplikacije i proračunske tablice.

Na primjer, maloprodajna trgovina može imati odvojene odjele kao što su prodaja, marketing i logistika. Svaki odjel neovisno obrađuje podatke o kupcima, a način na koji svaki od njih pohranjuje te podatke razlikuje se. Odjel prodaje može pohranjivati ​​zapise po imenu kupca, dok marketinški odjel koristi ID kupca.

Ako poslovni timovi žele pregledati potpunu povijest kupnje kupca u različitim marketinškim kampanjama, nepovezani podaci to čine vrlo zamornim. Rješenje je korištenje skladištenja podataka pohranjivati ​​informacije iz različitih izvora u jedinstvenu strukturu pomoću ETL-a. ETL može transformirati različite skupove podataka u jedinstvenu strukturu, tako da BI alati kasnije mogu izvući smislene uvide i izvješća.

Sljedeći dijagram prikazuje tijek procesa ETL testiranja i ključne koncepte koje ćete koristiti u ovom vodiču:

1) Primjertract

• Extracrelevantne podatke iz jednog ili više izvornih sustava.

2) Transformacija

• Transformirajte podatke u DW (Data Warehouse) format.
• Ključevi izgradnje: ključ je jedan ili više atributa podataka koji jedinstveno identificiraju entitet. Različiti vrste ključeva su primarni ključ, alternativni ključ, strani ključ, složeni ključ i surogat ključ. Skladište podataka posjeduje ove ključeve i nikada ne dopušta nijednom drugom entitetu da ih dodijeli.
• Čišćenje podataka: nakon što su podaci obrisanitracted, prelazi u sljedeću fazu čišćenja i usklađivanja. Čišćenje ispravlja propuste i identificira pogreške. Usklađivanje rješava sukobe između nekompatibilnih skupova podataka kako bi se mogli koristiti u skladištu podataka poduzeća. Sustav također stvara metapodatke koji pomažu u dijagnosticiranju problema izvornog sustava i poboljšanju kvalitete podataka.

3) Učitavanje

• Učitajte podatke u DW (skladište podataka).
• Izgradi agregate: agregat sažima i pohranjuje podatke iz tablica činjenica kako bi se poboljšala izvedba upita krajnjih korisnika.

Što je ETL testiranje?

ETL testiranje se provodi kako bi se osigurala točnost podataka učitanih od izvora do odredišta, nakon transformacije poslovanja. Također uključuje provjeru podataka u različitim međufazama između izvora i odredišta. Budući da ETL označava Ex...tract-Transform-Load, ETL testiranje pokriva svaku od ove tri faze i točke gdje se podaci presijecaju između njih.

Zašto je ETL testiranje važno?

Nakon što shvatite što je ETL testiranje, sljedeće pitanje je zašto organizacije ulažu toliko truda u to. Poslovne odluke oslanjaju se na podatke koji su točni, potpuni i pouzdani, tako da se jedna pogreška u transformaciji može odraziti na financijska izvješća, analitiku kupaca i regulatorne objave.

Sljedeće točke objašnjavaju praktičnu vrijednost snažnog ETL testiranja:

• Točnost podataka: Potvrđuje da vrijednosti transformirane poslovnim pravilima odgovaraju dokumentiranoj mapiping specifikacije, sprječavajući tihu korupciju.
• Pouzdano izvještavanje: Nadzorne ploče i BI alati ovise o skladištu, stoga verificirani ETL cjevovodi štite svako nizvodno izvješće i KPI.
• Sukladnost s propisima: Industrije poput bankarstva, zdravstva i osiguranja moraju dokazati da su porijeklo i integritet podataka očuvani od početka do kraja.
• Smanjena količina prerade: Otkrivanje nedostataka u nižim okruženjima izbjegava skupa ponovna učitavanja u proizvodnji, ručna usklađivanja i pogreške s kojima se suočavaju kupci.
• Jamstvo performansi: ETL testiranje mjeri prozore opterećenja, propusnost i uska grla kako bi se skladište nastavilo skalirati kako raste količina podataka.

S ovim jasnim motivacijama, sljedeći odjeljak prolazi kroz strukturirani proces koji ETL testeri slijede na stvarnim projektima.

ETL proces testiranja

Slično kao i drugi procesi testiranja, ETL također prolazi kroz različite faze. Različite faze procesa ETL testiranja su sljedeće:

ETL testiranje se provodi u pet faza:

1. Identificiranje izvora podataka i zahtjeva
2. Prikupljanje podataka
3. Implementirajte poslovnu logiku i dimenzionalno modeliranje
4. Izgradite i popunite podatke
5. Izrada izvješća

Imajući na umu proces visoke razine, pogledajmo specifične vrste testiranja koje se uklapaju u ovaj životni ciklus.

Vrste ETL testiranja

1. Ispitivanje valjanosti proizvodnje
   Proces testiranja: Također se naziva "balansiranje tablica" ili "usklađivanje proizvodnje", ova vrsta ETL testiranja provodi se na podacima dok se oni premještaju u produkcijske sustave. Kako bi se podržale poslovne odluke, produkcijski podaci moraju biti u ispravnom redoslijedu. Informatika Opcija validacije podataka pruža mogućnosti automatizacije i upravljanja ETL testiranjem kako loši podaci ne bi ugrozili proizvodne sustave.
2. Izvor za Target Testiranje (Validacijsko testiranje)
   Proces testiranja: Ova vrsta testiranja potvrđuje da li transformirane vrijednosti podataka odgovaraju očekivanim ciljnim vrijednostima.
3. primjena Upgrades
   Proces testiranja: Ova vrsta ETL testiranja može se automatski generirati, što značajno štedi vrijeme razvoja testova. Provjerava jesu li podacitracPodaci preuzeti iz starije aplikacije ili repozitorija podudaraju se s podacima u novoj aplikaciji ili repozitoriju.
4. Testiranje metapodataka
   Proces testiranja: Testiranje metapodataka uključuje provjere tipova podataka, provjere duljine podataka i provjere indeksa ili ograničenja.
5. Testiranje potpunosti podataka
   Proces testiranja: Testiranje potpunosti podataka provjerava jesu li svi očekivani podaci učitani iz izvora u cilj. Uobičajeni testovi uključuju usporedbu i provjeru broja zapisa, agregata i stvarnih podataka između izvornih i ciljnih stupaca kada je transformacija jednostavna ili je nema.
6. Testiranje točnosti podataka
   Proces testiranja: Ovo testiranje osigurava da su podaci točno učitani i transformirani kako se očekuje.
7. Testiranje transformacije podataka
   Proces testiranja: Transformacija podataka za testiranje često se ne može postići s jednim izvorom SQL upit i usporedbu izlaza. Za svaki redak može biti potrebno više SQL upita kako bi se provjerila pravila transformacije.
8. Testiranje kvalitete podataka
   Proces testiranja:

   Testovi kvalitete podataka uključuju sintaktičke testove i referentne testove. Oni sprječavaju pogreške u poslovnim procesima uzrokovane netočnim datumima ili brojevima narudžbi.

   Sintaktički testovi prijavljuju prljave podatke na temelju nevažećih znakova, uzoraka znakova i neispravnog redoslijeda velikih ili malih slova.

   Referentni testovi provjeravaju podatke u odnosu na model podataka. Na primjer: ID kupca.

   Testiranje kvalitete podataka također uključuje provjere brojeva, provjere datuma, provjere preciznosti, provjere podataka i provjere null vrijednosti.

9. Inkrementalno ETL testiranje
   Proces testiranja: Ovo testiranje provjerava integritet starih i novih podataka uz dodavanje novih podataka. Inkrementalno testiranje provjerava obrađuju li se unosi i ažuriranja kako se očekuje tijekom inkrementalnog ETL procesa.
10. GUI/testiranje navigacije
    Proces testiranja: Ovo testiranje provjerava navigaciju i GUI aspekte front-end izvješća.

Kako stvoriti ETL test slučaj

ETL testiranje je koncept koji se može primijeniti na različite alate i baze podataka u industriji upravljanja informacijama. Cilj ETL testiranja je osigurati da su podaci učitani iz izvora na odredište nakon transformacije poslovanja točni. Također uključuje provjeru podataka u raznim srednjim fazama između izvora i odredišta.

Tijekom ETL testiranja, ETL tester uvijek koristi dva dokumenta:

1. ETL kartaping listovi: ETL mapaping Tablica sadrži sve informacije o izvornim i odredišnim tablicama, uključujući svaki stupac i njegovu pretragu u referentnim tablicama. ETL testeri moraju biti upoznati sa SQL upitima jer ETL testiranje može uključivati ​​pisanje velikih upita s višestrukim spajanjima za validaciju podataka u bilo kojoj fazi. ETL mapaping Tablice pružaju značajnu pomoć pri pisanju upita za provjeru podataka.
2. Shema baze podataka izvora i cilja: Treba ga imati pri ruci kako bi se mogli provjeriti svi detalji na karti.ping listova.

ETL testni scenariji i testni slučajevi

1. Kartaping provjera valjanosti dokumenta
   Testni slučajevi: Provjerite jesu li odgovarajuće ETL informacije navedene na mapiping doc. Zapisnik promjena treba se voditi na svakoj kartiping doc.
2. Potvrđivanje
   Testni slučajevi:

   1) Validirajte strukturu izvorne i ciljne tablice u odnosu na odgovarajuću mapuping doc.
   2) Izvorni tip podataka i ciljni tip podataka trebaju biti isti.
   3) Duljina tipova podataka u izvoru i cilju treba biti jednaka.
   4) Provjerite jesu li navedeni tipovi i formati podatkovnih polja.
   5) Duljina izvornog tipa podataka ne smije biti manja od duljine ciljnog tipa podataka.
   6) Provjerite nazive stupaca u tablici u odnosu na kartuping doc.

3. Validacija ograničenja
   Testni slučajevi: Provjerite jesu li ograničenja definirana za određenu tablicu kako se očekuje.
4. Problemi s dosljednošću podataka
   Testni slučajevi:

   1) Tip podataka i duljina određenog atributa mogu se razlikovati među datotekama ili tablicama, čak i kada je semantička definicija ista.
   2) Zloupotreba ograničenja integriteta.

5. Problemi s potpunošću
   Testni slučajevi:

   1) Provjerite jesu li svi očekivani podaci učitani u ciljnu tablicu.
   2) Usporedite broj zapisa između izvora i cilja.
   3) Provjerite ima li odbijenih zapisa.
   4) Provjerite da podaci u stupcima ciljnih tablica nisu skraćeni.
   5) Provjerite analizu graničnih vrijednosti.
   6) Usporedite jedinstvene vrijednosti ključnih polja između podataka učitanih u skladište i izvornih podataka.

6. Problemi s ispravnošću
   Testni slučajevi:

   1) Podaci koji su pogrešno napisani ili netočno zabilježeni.
   2) Nulti, nejedinstveni ili podaci izvan raspona.

7. transformacija
   Testni slučajevi: Potvrdite da svako poslovno pravilo i logika transformacije na mapiping dokument se ispravno primjenjuje na izvorne podatke prije nego što stigne u cilj.
8. Kvaliteta podataka
   Testni slučajevi:

   1) Provjera brojeva: validacija numeričkih formata i vrijednosti.
   2) Provjera datuma: datumi moraju slijediti jedinstveni format i biti dosljedni u svim zapisima.
   3) Provjera preciznosti.
   4) Provjera podataka.
   5) Provjera nule.

9. Null Validate
   Testni slučajevi: Provjerite null vrijednosti gdje je za određeni stupac navedeno "Not Null".
10. Provjera duplikata
    Testni slučajevi:

    1) Provjerite jedinstveni ključ, primarni ključ i sve ostale stupce koji bi trebali biti jedinstveni prema poslovnim zahtjevima kako biste potvrdili da nema dupliciranih redaka.
    2) Provjerite postoje li duplicirane vrijednosti u bilo kojem stupcu npr.traciz više izvornih stupaca i spojeni u jedan stupac.
    3) Prema zahtjevima klijenta, provjerite da ne postoje duplikati u kombinaciji više stupaca unutar cilja.

11. Validacija datuma
    Testni slučajevi: Vrijednosti datuma koriste se u mnogim područjima ETL razvoja:

    1) Znati datum kreiranja reda.
    2) Identificirajte aktivne zapise iz perspektive razvoja ETL-a.
    3) Identificirajte aktivne zapise iz perspektive poslovnih zahtjeva.
    4) Ponekad se na temelju vrijednosti datuma generiraju ažuriranja i umetci.

12. Potpuna provjera valjanosti podataka
    Testni slučajevi:

    1) Validirajte cijeli skup podataka u izvornim i ciljnim tablicama koristeći minus upit kao najbolje rješenje.
    2) Morate izvršiti izvor minus cilj i cilj minus izvor.
    3) Ako minus upit vrati bilo koju vrijednost, te retke treba smatrati neusklađenim.
    4) Usporedite retke između izvora i cilja pomoću naredbe intersect.
    5) Broj koji vraća intersect trebao bi odgovarati pojedinačnim brojevima izvornih i ciljnih tablica.
    6) Ako minus upit vrati retke, a broj presjeka je manji od izvornog ili ciljnog broja, postoje duplicirani retci.

13. Čistoća podataka
    Testni slučajevi: Nepotrebne stupce treba obrisati prije učitavanja u probno područje.

Vrste ETL grešaka

Čak i s jakim testnim slučajevima, ETL cjevovodi mogu zakazati na različite načine. Slika u nastavku sažima kategorije grešaka na koje biste trebali paziti, a tablica koja slijedi opisuje svaku od njih.

Vrsta grešaka	Description
Greške korisničkog sučelja/kozmetičke greške	• Vezano za GUI aplikacije • Stil fonta, veličina fonta, boje, poravnanje, pravopisne pogreške, navigacija i tako dalje
Bug povezan s analizom graničnih vrijednosti (BVA).	• Minimalne i maksimalne vrijednosti
Pogreška povezana s particijom klase ekvivalencije (ECP).	• Važeći i nevažeći tip
Ulazno/izlazne greške	• Valjane vrijednosti nisu prihvaćene • Prihvaćaju se nevažeće vrijednosti
Greške u izračunu	• Matematičke pogreške • Konačni izlaz je pogrešan
Greške u uvjetima opterećenja	• Ne dopušta više korisnika • Ne dopušta opterećenje koje očekuje kupac
Greške u uvjetima utrke	• Rušenje i zaglavljivanje sustava • Sustav ne može pokretati klijentske platforme
Greške u kontroli verzija	• Nema podudaranja logotipa • Nema dostupnih informacija o verziji • Obično se javlja u Ispitivanje regresije
H/W greške	• Uređaj ne reagira na aplikaciju
Pomoć Izvor bugova	• Pogreške u dokumentima pomoći

Testiranje skladišta podataka

Testiranje skladišta podataka je metoda testiranja u kojoj se podaci unutar skladišta podataka testiraju na integritet, pouzdanost, točnost i konzistentnost kako bi bili u skladu s okvirom podataka tvrtke. Glavna svrha testiranja skladišta podataka je osigurati da su integrirani podaci unutar skladišta dovoljno pouzdani da tvrtka može donositi odluke na temelju njih. Dok se ETL testiranje fokusira na kretanje podataka, testiranje skladišta podataka pokriva širi sloj pohrane i izvještavanja koji ETL u konačnici opskrbljuje podacima.

Razlika između testiranja baze podataka i ETL testiranja

Iako obje discipline rade sa strukturiranim podacima, odgovaraju na različita pitanja. Tablica u nastavku ističe praktičnu razliku:

ETL testiranje	Testiranje baze podataka
Provjerava jesu li podaci premješteni kako je očekivano.	Primarni cilj je provjeriti slijede li podaci pravila i standarde definirane u modelu podataka.
Provjerava podudaraju li se brojevi u izvoru i cilju te jesu li transformirani podaci onakvi kakvi se očekuju.	Provjerava da nema zapisa osiroćenih osoba i da su održavani odnosi između stranog i primarnog ključa.
Provjerava jesu li relacije vanjskog primarnog ključa očuvane tijekom ETL-a.	Provjerava da nema redundantnih tablica i da je baza podataka optimalno normalizirana.
Provjerava dupliciranje u učitanim podacima.	Provjerava nedostaju li podaci u stupcima gdje je to potrebno.

Testiranje performansi u ETL-u

Testiranje performansi u ETL-u je tehnika testiranja koja osigurava da ETL sustav može podnijeti opterećenje više korisnika i transakcija. Primarni cilj ETL-a Ispitivanje performansi je optimizacija i poboljšanje performansi sesije identificiranjem i uklanjanjem uskih grla u performansama. Izvorne i ciljne baze podataka, mapiranjepingsesije i sam sustav mogu sadržavati uska grla.

Jedan od najboljih alata koji se koristi za testiranje i podešavanje performansi je Informatica.

Odgovornosti ETL testera

Ključne odgovornosti ETL testera podijeljene su u tri kategorije:

• Stage stol / SFS ili MFS
• Primijenjena logika poslovne transformacije
• Target učitavanje tablice iz datoteke ili tablice stagea nakon primjene transformacije

Neke od svakodnevnih odgovornosti ETL testera su:

• Testirajte ETL softver
• Testne komponente ETL skladišta podataka
• Izvršite testove temeljene na podacima u pozadini
• Stvori, dizajniraj i izvrši test slučajevi, planovi testiranja i ispitni pribor
• Identificirajte probleme i ponudite rješenja za potencijalne probleme
• Odobriti zahtjeve i specifikacije dizajna
• Validacija prijenosa podataka i testiranje ravnih datoteka
• Pišite SQL upite za različite scenarije, kao što su testovi brojanja

Automatizacija ETL testiranja

Opća metodologija ETL testiranja je korištenje SQL skriptiranja ili vizualnog "procjene" podataka. Ovi pristupi oduzimaju puno vremena, skloni su greškama i rijetko pružaju potpune pokrivenost testomUbrzati izvršenje, poboljšati pokrivenost, smanjiti troškove i poboljšati mana detekcija u produkcijskim i razvojnim okruženjima, automatizacija je potreba vremena. Jedan takav alat je Informatica.

Moderni timovi također kombiniraju tradicionalnu automatizaciju s pomagačima uz pomoć umjetne inteligencije koji predlažu transformacijske testove, generiraju sintetičke izvorne podatke i označavaju pomicanje sheme, oslobađajući testere da se usredotoče na složenu poslovnu logiku umjesto na repetitivno održavanje skripti.

Najbolji primjeri iz prakse za ETL testiranje

1. Provjerite jesu li podaci ispravno transformirani.
2. Bez ikakvog gubitka ili skraćivanja podataka, projicirani podaci trebaju se učitati u skladište podataka.
3. Osigurajte da ETL aplikacija na odgovarajući način odbacuje nevažeće podatke, zamjenjuje ih zadanim vrijednostima gdje je to primjenjivo i izvještava o njima.
4. Potvrdite da se podaci učitavaju u skladište unutar propisanih i očekivanih vremenskih okvira kako biste provjerili skalabilnost i performanse.
5. Sve metode trebaju imati odgovarajuće jedinične testove bez obzira na vidljivost.
6. Kako bi se izmjerila njihova učinkovitost, svi jedinični testovi trebaju koristiti odgovarajuće tehnike pokrivanja.
7. Težite jednoj tvrdnji po testnom slučaju.
8. stvoriti jedinični testovi koji ciljaju iznimke.

Provjeri - Pitanja i odgovori za intervju za ETL testiranje

Pitanja i odgovori