ETL-testauksen opetusohjelma

Mikä on ETL?

ETL tarkoittaa Extract-muunnos-kuormitus, ja se kuvaa, miten data siirtyy lähdejärjestelmästä tietovarastoon. Data on esim.tracotetaan OLTP-tietokannasta, muunnetaan vastaamaan tietovaraston kaavaa ja ladataan tietovaraston tietokantaan. Monet tietovarastot sisältävät myös tietoja muista kuin OLTP-järjestelmistä, kuten tekstitiedostoja, vanhoja sovelluksia ja laskentataulukoita.

Esimerkiksi vähittäismyymälällä voi olla erilliset osastot, kuten myynti, markkinointi ja logistiikka. Jokainen osasto käsittelee asiakastietoja itsenäisesti, ja tapa, jolla kukin niistä tallentaa tiedot, vaihtelee. Myyntiosasto voi tallentaa tiedot asiakkaan nimen mukaan, kun taas markkinointiosasto käyttää asiakastunnusta.

Jos liiketoimintatiimit haluavat tarkastella asiakkaan koko ostohistoriaa eri markkinointikampanjoissa, irralliset tiedot tekevät siitä erittäin työlästä. Ratkaisu on käyttää tietovaraston tallentaa tietoa eri lähteistä yhtenäiseen rakenteeseen ETL:n avulla. ETL voi muuntaa erilaisia ​​tietojoukkoja yhtenäiseksi rakenteeksi, jotta BI-työkalut voivat myöhemmin tuottaa merkityksellisiä näkemyksiä ja raportteja.

Seuraava kaavio näyttää ETL-testausprosessin kulun ja tässä oppaassa käytettävät ydinkäsitteet:

1) Esim.tract

• Extracasiaankuuluvat tiedot yhdestä tai useammasta lähdejärjestelmästä.

2) Muunna

• Muunna tiedot DW (Data Warehouse) -muotoon.
• Rakennusavaimet: avain on yksi tai useampi data-attribuutti, joka yksilöi yksikön. avainten tyyppejä ovat ensisijainen avain, vaihtoehtoinen avain, viiteavain, yhdistelmäavain ja sijaisavain. Tietovarasto omistaa nämä avaimet eikä koskaan anna minkään muun tahon määrittää niitä.
• Tietojen puhdistus: tietojen poistamisen jälkeentracKun se on tehty, se siirtyy seuraavaan vaiheeseen, puhdistukseen ja yhdenmukaisuuteen. Puhdistaminen korjaa puutteet ja tunnistaa virheet. Yhteensopivuus ratkaisee ristiriitoja yhteensopimattomien tietojoukkojen välillä, jotta niitä voidaan käyttää yrityksen tietovarastossa. Järjestelmä luo myös metatietoja, jotka auttavat diagnosoimaan lähdejärjestelmän ongelmia ja parantamaan tiedon laatua.

3) Kuorma

• Lataa tiedot DW:hen (tietovarastoon).
• Koosteiden luominen: kooste tiivistää ja tallentaa tietoja faktataulukko parantaakseen loppukäyttäjien kyselyiden suorituskykyä.

Mitä ETL-testaus on?

ETL-testaus suoritetaan sen varmistamiseksi, että lähteestä kohteeseen ladattu data on liiketoiminnan transformaation jälkeen oikein. Se sisältää myös datan varmentamisen eri välivaiheissa lähteen ja kohteen välillä. Koska ETL on lyhenne sanoista Extract-Transform-Load, ETL-testaus kattaa kaikki nämä kolme vaihetta ja pisteet, joissa data ylittää niiden välisen rajan.

Miksi ETL-testaus on tärkeää?

Kun ymmärrät, mitä ETL-testaus on, seuraava kysymys on, miksi organisaatiot panostavat siihen niin paljon. Liiketoimintapäätökset perustuvat oikeelliseen, täydelliseen ja luotettavaan dataan, joten yksittäinen muunnosvirhe voi heijastua talousraportteihin, asiakasanalytiikkaan ja viranomaisraportteihin.

Seuraavat kohdat selittävät vahvan ETL-testauksen käytännön arvon:

• Tietojen tarkkuus: Se vahvistaa, että liiketoimintasääntöjen muuntamat arvot vastaavat dokumentoitua karttaaping spesifikaatioita, mikä estää hiljaisen korruption.
• Luotettava raportointi: Kojelaudat ja BI-työkalut ovat riippuvaisia ​​varastosta, joten varmennetut ETL-prosessit suojaavat jokaista downstream-raporttia ja KPI:tä.
• Lainsäädännön noudattaminen: Pankki-, terveydenhuolto- ja vakuutusalan kaltaisten toimialojen on osoitettava, että datan sukulaisuus ja eheys säilyvät alusta loppuun.
• Vähemmän uudelleentyötä: Vikojen havaitseminen heikoimmissa ympäristöissä välttää kalliit tuotannon uudelleenlataukset, manuaaliset täsmäytykset ja asiakaskohtaamiset virheet.
• Suorituskyvyn varmistus: ETL-testaus mittaa kuormitusikkunoita, läpimenoaikaa ja pullonkauloja, jotta tietovarasto skaalautuu edelleen datamäärän kasvaessa.

Näiden motivaatioiden selvitettyä seuraavassa osiossa käydään läpi jäsennelty prosessi, jota ETL-testaajat noudattavat oikeissa projekteissa.

ETL-testausprosessi

Kuten muutkin testausprosessit, myös ETL käy läpi eri vaiheita. ETL-testausprosessin eri vaiheet ovat seuraavat:

ETL-testaus suoritetaan viidessä vaiheessa:

1. Tietolähteiden ja vaatimusten tunnistaminen
2. tietojen hankinta
3. Liiketoimintalogiikan ja dimensiomallinnuksen toteuttaminen
4. Luo ja täytä tietoja
5. Rakenna raportteja

Pidettäessä mielessä tämä yleisen tason prosessi, tarkastellaanpa tiettyjä testaustyyppejä, jotka sopivat tähän elinkaareen.

ETL-testauksen tyypit

1. Tuotannon validointitestaus
   Testausprosessi: Tämän tyyppistä ETL-testausta, jota kutsutaan myös "taulukoiden tasapainottamiseksi" tai "tuotannon täsmäytyksenä", suoritetaan datalle sen siirtyessä tuotantojärjestelmiin. Liiketoimintapäätösten tukemiseksi tuotantodatan on oltava oikeassa järjestyksessä. tietokone Data Validation Option tarjoaa ETL-testauksen automatisointi- ja hallintaominaisuudet, jotta virheellinen data ei vaaranna tuotantojärjestelmiä.
2. Lähde kohteeseen Target Testaus (validointitestaus)
   Testausprosessi: Tämän tyyppinen testaus varmistaa, vastaavatko muunnetut data-arvot odotettuja kohdearvoja.
3. Hakemus Upgrades
   Testausprosessi: Tämän tyyppinen ETL-testaus voidaan luoda automaattisesti, mikä säästää huomattavasti testien kehitysaikaa. Se tarkistaa, onko dataa muunnettu.tracVanhemmasta sovelluksesta tai tietovarastosta saatu data vastaa uuden sovelluksen tai tietovaraston tietoja.
4. Metatietojen testaus
   Testausprosessi: Metadatan testaukseen kuuluvat tietotyypin tarkistukset, tiedon pituuden tarkistukset sekä indeksien tai rajoitteiden tarkistukset.
5. Tietojen täydellisyyden testaus
   Testausprosessi: Datan täydellisyystestaus varmistaa, että kaikki odotettu data ladataan lähteestä kohteeseen. Yleisiä testejä ovat tietueiden määrien, aggregaattien ja todellisen datan vertailu ja validointi lähde- ja kohdesarakkeiden välillä, kun muunnos on yksinkertainen tai sitä ei ole.
6. Tietojen tarkkuustestaus
   Testausprosessi: Tämä testaus varmistaa, että tiedot ladataan ja muunnetaan oikein odotetulla tavalla.
7. Datan muunnostestaus
   Testausprosessi: Testausdatan muunnos ei usein onnistu yhdellä lähteellä SQL kysely ja tulosten vertailu. Kullekin riville saatetaan tarvita useita SQL-kyselyitä muunnossääntöjen tarkistamiseksi.
8. Tietojen laadun testaus
   Testausprosessi:

   Tiedon laatutesteihin kuuluvat syntaksitestit ja referenssitestit. Ne estävät virheellisten päivämäärien tai tilausnumeroiden aiheuttamat liiketoimintaprosessien virheet.

   Syntaksitestit raportoivat likaista dataa virheellisten merkkien, merkkijonojen ja virheellisen isojen tai pienten kirjainten järjestyksen perusteella.

   Vertailutestit tarkistavat tiedot datamallia vasten. Esimerkiksi: Asiakastunnus.

   Datan laadun testaukseen kuuluvat myös numerotarkistukset, päivämäärätarkistukset, tarkkuustarkistukset, datatarkistukset ja null-tarkistukset.

9. Inkrementaalinen ETL-testaus
   Testausprosessi: Tämä testaus tarkistaa vanhojen ja uusien tietojen eheyden lisäämällä uusia tietoja. Inkrementaalinen testaus varmistaa, että lisäykset ja päivitykset käsitellään odotetulla tavalla inkrementaalisen ETL-prosessin aikana.
10. GUI/navigointitestaus
    Testausprosessi: Tämä testaus tarkistaa käyttöliittymäraporttien navigoinnin ja graafisen käyttöliittymän.

Kuinka luoda ETL-testitapaus

ETL-testaus on konsepti, jota voidaan soveltaa erilaisiin työkaluihin ja tietokantoihin tiedonhallinta-alalla. ETL-testauksen tavoitteena on varmistaa, että liiketoiminnan muutoksen jälkeen lähteestä kohteeseen ladattu data on tarkkaa. Se sisältää myös datan varmentamisen eri välivaiheissa lähteen ja määränpään välillä.

ETL-testausta suorittaessaan ETL-testaaja käyttää aina kahta dokumenttia:

1. ETL-karttaping levyt: ETL-karttaping Taulukko sisältää kaikki tiedot lähde- ja kohdetaulukoista, mukaan lukien jokaisen sarakkeen ja sen haun viitetaulukoissa. ETL-testaajien on oltava tottuneet SQL-kyselyihin, koska ETL-testaus voi sisältää useiden liitosten sisältävien kyselyiden kirjoittamisen datan validoimiseksi missä tahansa vaiheessa. ETL-karttaping taulukot tarjoavat merkittävää apua kyselyiden kirjoittamisessa datan varmentamista varten.
2. Lähteen ja kohteen tietokantakaavio: Se tulisi pitää käden ulottuvilla, jotta kartan yksityiskohdat voidaan tarkistaa.ping levyt.

ETL-testi skenaariot ja testitapaukset

1. karttaping dokumentin validointi
   Testitapaukset: Tarkista, onko kartalla vastaavat ETL-tiedot.ping dokumentti. Jokaisessa kartassa tulisi pitää yllä muutoslokia.ping asiak.
2. Validation
   Testitapaukset:

   1) Vahvista lähde- ja kohdetaulukon rakenne vastaavaa vastaavuutta vastenping asiak.
   2) Lähdetietotyypin ja kohdetietotyypin tulee olla sama.
   3) Sekä lähde- että kohdetietotyyppien pituuden tulee olla yhtä suuri.
   4) Varmista, että tietokenttien tyypit ja muodot on määritetty.
   5) Lähdetietotyypin pituuden ei tulisi olla pienempi kuin kohdetietotyypin pituus.
   6) Tarkista taulukon sarakkeiden nimet karttaa vastenping asiak.

3. Rajoituksen validointi
   Testitapaukset: Varmista, että rajoitukset on määritelty tietylle taulukolle odotetulla tavalla.
4. Tietojen yhdenmukaisuusongelmat
   Testitapaukset:

   1) Tietyn attribuutin tietotyyppi ja pituus voivat vaihdella tiedostojen tai taulukoiden välillä, vaikka semanttinen määritelmä olisi sama.
   2) Eheysrajoitusten väärinkäyttö.

5. Täydellisyysongelmat
   Testitapaukset:

   1) Varmista, että kaikki odotetut tiedot on ladattu kohdetaulukkoon.
   2) Vertaa lähteen ja kohteen tietuemääriä.
   3) Tarkista mahdolliset hylätyt tiedot.
   4) Tarkista, että kohdetaulukoiden sarakkeissa olevia tietoja ei ole katkaistu.
   5) Tarkista reuna-arvoanalyysi.
   6) Vertaa avainkenttien yksilöllisiä arvoja tietovarastoon ladattujen tietojen ja lähdetietojen välillä.

6. Oikeusongelmat
   Testitapaukset:

   1) Väärin kirjoitetut tai epätarkasti tallennetut tiedot.
   2) Null, ei-yksilöllinen tai alueen ulkopuolinen data.

7. Muutos
   Testitapaukset: Vahvista, että jokainen kartan liiketoimintasääntö ja muunnoslogiikkaping asiakirjaa sovelletaan oikein lähdetietoihin ennen kuin se päätyy kohteeseen.
8. Tietojen laatu
   Testitapaukset:

   1) Numeroiden tarkistus: validoi numeeriset muodot ja arvot.
   2) Päivämäärän tarkistus: päivämäärien on oltava samassa muodossa ja yhdenmukaisia ​​eri tietueissa.
   3) Tarkkuustarkistus.
   4) Tietojen tarkistus.
   5) Null-tarkistus.

9. Nolla Vahvista
   Testitapaukset: Tarkista tyhjät arvot, jos tietylle sarakkeelle on määritetty ”Not Null”.
10. Kopioi tarkistus
    Testitapaukset:

    1) Vahvista yksilöllinen avain, ensisijainen avain ja kaikki muut sarakkeet, joiden tulisi olla yksilöllisiä liiketoiminnan vaatimusten mukaisesti, varmistaaksesi, ettei kaksoisrivejä ole.
    2) Tarkista, onko missään sarakkeessa kaksoisarvoja, esim.tracuseista lähdesarakkeista ja yhdistetty yhdeksi sarakkeeksi.
    3) Varmista asiakkaan vaatimusten mukaisesti, ettei kohteessa ole useiden sarakkeiden yhdistelmiä kaksoiskappaleina.

11. Vahvistuspäivämäärä
    Testitapaukset: Päivämääräarvoja käytetään monilla ETL-kehityksen alueilla:

    1) Rivin luontipäivämäärän tietäminen.
    2) Tunnista aktiiviset tietueet ETL-kehityksen näkökulmasta.
    3) Tunnista aktiiviset tietueet liiketoimintavaatimusten näkökulmasta.
    4) Joskus päivämääräarvojen perusteella luodaan päivityksiä ja lisäyksiä.

12. Täydellinen tietojen validointi
    Testitapaukset:

    1) Vahvista lähde- ja kohdetaulukoiden koko tietojoukko käyttämällä miinuskyselyä parhaana ratkaisuna.
    2) Sinun on suoritettava lähde miinus kohde ja kohde miinus lähde.
    3) Jos miinus-kysely palauttaa jonkin arvon, kyseisiä rivejä tulisi pitää ristiriitaisina.
    4) Yhdistä lähteen ja kohteen rivit intersect-lausekkeen avulla.
    5) Intersect-funktion palauttaman lukumäärän tulee vastata lähde- ja kohdetaulukoiden yksittäisiä lukumääriä.
    6) Jos miinus-kysely palauttaa rivejä ja leikkauspisteiden määrä on pienempi kuin lähde- tai kohdemäärä, rivien kaksoiskappaleita on olemassa.

13. Tietojen puhtaus
    Testitapaukset: Tarpeettomat sarakkeet tulee poistaa ennen latausalueelle lataamista.

ETL-bugien tyypit

Vahvoistakin testitapauksista huolimatta ETL-putket voivat epäonnistua eri tavoin. Alla oleva kuva tiivistää vikaluokat, joita kannattaa seurata, ja seuraava taulukko kuvaa kutakin niistä.

Bugien tyyppi	Tuotetiedot
Käyttöliittymävirheet/kosmeettiset viat	• Sovelluksen käyttöliittymään liittyvä • Fonttityyli, fonttikoko, värit, tasaus, kirjoitusvirheet, navigointi ja niin edelleen
Raja-arvoanalyysiin (BVA) liittyvä vika	• Minimi- ja maksimiarvot
Ekvivalenssiluokan osiointiin (ECP) liittyvä vika	• Kelvollinen ja kelvoton tyyppi
Tulo-/lähtövirheet	• Kelvollisia arvoja ei hyväksytä • Virheelliset arvot hyväksyttiin
Laskutusvirheet	• Matemaattiset virheet • Lopputulos on väärä
Lataa kuntovirheet	• Ei salli useita käyttäjiä • Ei salli asiakkaan odottamaa kuormitusta
Kisatilan vikoja	• Järjestelmän kaatuminen ja jumiutuminen • Järjestelmä ei voi käyttää asiakasalustoja
Versionhallinnan bugit	• Ei logon vastaavuutta • Versiotietoja ei saatavilla • Tapahtuu yleensä Regressiotestaus
H/W bugeja	• Laite ei vastaa sovellukseen
Ohjelähteen virheet	• Virheitä ohjeasiakirjoissa

Tietovaraston testaus

Tietovaraston testaus on testausmenetelmä, jossa tietovaraston sisällä olevien tietojen eheys, luotettavuus, tarkkuus ja johdonmukaisuus testataan yrityksen datakehyksen noudattamiseksi. Tietovarastotestauksen päätarkoitus on varmistaa, että tietovaraston sisällä olevat integroidut tiedot ovat riittävän luotettavia, jotta yritys voi tehdä niiden perusteella päätöksiä. Vaikka ETL-testaus keskittyy tiedon liikkumiseen, tietovarastotestaus kattaa laajemman tallennus- ja raportointikerroksen, jota ETL lopulta ruokkii.

Tietokantatestauksen ja ETL-testauksen välinen ero

Vaikka molemmat tieteenalat työskentelevät strukturoidun datan kanssa, ne vastaavat eri kysymyksiin. Alla oleva taulukko korostaa käytännön eroja:

ETL-testaus	Tietokannan testaus
Tarkistaa, siirretäänkö tiedot odotetulla tavalla.	Ensisijainen tavoite on tarkistaa, noudattaako data datamallissa määriteltyjä sääntöjä ja standardeja.
Tarkistaa, vastaavatko lähteen ja kohteen lukumäärät toisiaan ja että muunnetut tiedot ovat odotetun mukaisia.	Varmistaa, ettei orpoja tietueita ole ja että ulkoisen avaimen ja ensisijaisen avaimen väliset suhteet säilyvät.
Varmistaa, että ulkomaiset ensisijaiset avainsuhteet säilyvät ETL:n aikana.	Varmistaa, ettei ole redundantteja taulukoita ja että tietokanta on normalisoitu optimaalisesti.
Tarkistaa ladattujen tietojen päällekkäisyydet.	Tarkistaa, puuttuuko tietoja sarakkeista tarvittaessa.

Suorituskykytestaus ETL:ssä

Suorituskykytestaus ETL:ssä on testaustekniikka, joka varmistaa, että ETL-järjestelmä pystyy käsittelemään useiden käyttäjien ja tapahtumien kuormituksen. ETL:n ensisijainen tavoite Suorituskykytestaus on optimoida ja parantaa istunnon suorituskykyä tunnistamalla ja poistamalla suorituskyvyn pullonkauloja. Lähde- ja kohdetietokannat, karttapings, istunnot ja itse järjestelmä voivat kaikki sisältää pullonkauloja.

Yksi parhaista suorituskykytestaukseen ja -viritykseen käytetyistä työkaluista on Informatica.

ETL-testaajan velvollisuudet

ETL-testaajan keskeiset vastuut on jaettu kolmeen luokkaan:

• Lavapöytä / SFS tai MFS
• Liiketoiminnan muutoslogiikka sovellettu
• Target taulukko latautuu vaihetiedostosta tai taulukosta muunnoksen soveltamisen jälkeen

Joitakin ETL-testaajan päivittäisiä tehtäviä ovat:

• Testaa ETL-ohjelmistoa
• ETL-tietovaraston testauskomponentit
• Suorita taustajärjestelmän datapohjaisia ​​testejä
• Luo, suunnittele ja toteuta testitapaukset, testisuunnitelmat ja testivaljaat
• Tunnista ongelmat ja tarjoa ratkaisuja mahdollisiin ongelmiin
• Hyväksy vaatimukset ja suunnitteluvaatimukset
• Tiedonsiirtojen validointi ja tasakokoisten tiedostojen testaus
• Kirjoita SQL-kyselyitä erilaisiin skenaarioihin, kuten laskentatesteihin

ETL-testauksen automatisointi

ETL-testauksen yleinen menetelmä on SQL-skriptien käyttö tai datan visuaalinen "silmäily". Nämä lähestymistavat ovat aikaa vieviä, virhealttiita ja tarjoavat harvoin täydellistä tietoa. testin kattavuusToteutuksen nopeuttamiseksi, kattavuuden parantamiseksi, kustannusten vähentämiseksi ja vika Tuotanto- ja kehitysympäristöissä tapahtuvan havaitsemisen automatisointi on tämän hetken tarve. Yksi tällainen työkalu on Informatica.

Nykyaikaiset tiimit yhdistävät myös perinteistä automaatiota tekoälyavusteisiin apuohjelmiin, jotka ehdottavat transformaatiotestejä, luovat synteettistä lähdedataa ja merkitsevät skeeman ajautumisen, vapauttaen testaajat keskittymään monimutkaiseen liiketoimintalogiikkaan toistuvan skriptien ylläpidon sijaan.

Parhaat käytännöt ETL-testaukseen

1. Varmista, että tiedot on muunnettu oikein.
2. Ilman tietojen menetystä tai katkaisua ennustetut tiedot tulisi ladata tietovarastoon.
3. Varmista, että ETL-sovellus hylkää virheelliset tiedot asianmukaisesti, korvaa ne oletusarvoilla soveltuvin osin ja raportoi ne.
4. Varmista, että tiedot ladataan varastoon määrätyissä ja odotetuissa aikaväleissä skaalautuvuuden ja suorituskyvyn validoimiseksi.
5. Kaikilla metodeilla tulisi olla asianmukaiset yksikkötestit näkyvyydestä riippumatta.
6. Tehokkuuden mittaamiseksi kaikissa yksikkötesteissä tulisi käyttää asianmukaisia ​​kattavuustekniikoita.
7. Pyri yhteen väittämään testitapausta kohden.
8. luoda yksikkötestejä jotka kohdistuvat poikkeuksiin.

Tarkista - ETL-testaushaastattelun kysymyksiä ja vastauksia

UKK