Handledning för ETL-testning

Vad är ETL?

ETL står för Extract-Transform-Load, och den beskriver hur data flyttas från ett källsystem till ett datalager. Data extrachämtas från en OLTP-databas, transformeras för att matcha datalagerschemat och laddas in i lagerdatabasen. Många lager innehåller även data från icke-OLTP-system, såsom textfiler, äldre applikationer och kalkylblad.

Till exempel kan en butik ha separata avdelningar som försäljning, marknadsföring och logistik. Varje avdelning hanterar kundinformation oberoende av varandra, och sättet som var och en lagrar den informationen skiljer sig åt. Försäljningsavdelningen kan lagra poster efter kundnamn, medan marknadsavdelningen använder kund-ID.

Om affärsteam vill granska en kunds fullständiga köphistorik över olika marknadsföringskampanjer, gör den osammanhängande informationen det väldigt tråkigt. Lösningen är att använda en datawarehouse att lagra information från olika källor i en enhetlig struktur med hjälp av ETL. ETL kan omvandla olika datamängder till en enhetlig struktur, så att BI-verktyg senare kan få fram meningsfulla insikter och rapporter.

Följande diagram visar ETL-testningsprocessflödet och de centrala koncept som du kommer att använda i den här guiden:

1) Ex.tract

• Extracrelevanta data från ett eller flera källsystem.

2) Transformera

• Omvandla data till DW-format (Data Warehouse).
• Byggnycklar: en nyckel är ett eller flera dataattribut som unikt identifierar en entitet. typer av nycklar är primärnyckel, alternativnyckel, främmande nyckel, sammansatt nyckel och surrogatnyckel. Datalagret äger dessa nycklar och tillåter aldrig någon annan enhet att tilldela dem.
• Rensning av data: efter att data har existerattracNär den är klar går den vidare till nästa fas av rengöring och konformitetsjustering. Rensning åtgärdar utelämnanden och identifierar fel. Konformitetsjustering löser konflikter mellan inkompatibla datamängder så att de kan användas i ett företagsdatalager. Systemet skapar också metadata som hjälper till att diagnostisera problem med källsystemet och förbättra datakvaliteten.

3) Last

• Ladda in data i DW (datalagret).
• Bygg aggregat: ett aggregat sammanfattar och lagrar data från en faktatabell för att förbättra prestandan för slutanvändarfrågor.

Vad är ETL-testning?

ETL-testning utförs för att säkerställa att data som laddas från en källa till en destination, efter affärsomvandlingen, är korrekta. Det involverar också verifiering av data i de olika mellanstegen mellan källa och destination. Eftersom ETL står för Extract-Transform-Load, ETL-testning täcker vart och ett av dessa tre steg och de punkter där data korsar dem.

Varför är ETL-testning viktigt?

När du väl förstår vad ETL-testning är, är nästa fråga varför organisationer lägger så mycket energi på det. Affärsbeslut är beroende av data som är korrekt, fullständig och tillförlitlig, så ett enda transformationsfel kan påverka finansiella rapporter, kundanalyser och regulatoriska upplysningar.

Följande punkter förklarar det praktiska värdet av stark ETL-testning:

• Uppgifternoggrannhet: Den bekräftar att värden som transformerats av affärsregler matchar den dokumenterade kartanping specifikationer, vilket förhindrar tyst korruption.
• Tillförlitlig rapportering: Dashboards och BI-verktyg är beroende av lagret, så verifierade ETL-pipelines skyddar varje nedströmsrapport och KPI.
• Regelefterlevnad: Branscher som bank, sjukvård och försäkring måste bevisa att datahärdning och integritet bevaras från början till slut.
• Minskat omarbete: Att upptäcka fel i lägre miljöer undviker kostsamma produktionsomladdningar, manuella avstämningar och kundvända fel.
• Prestandasäkring: ETL-testning mäter belastningsfönster, dataflöde och flaskhalsar så att lagret fortsätter att skalas i takt med att datavolymen växer.

Med dessa motiv tydliga går nästa avsnitt igenom den strukturerade process som ETL-testare följer i verkliga projekt.

ETL-testprocess

I likhet med andra testprocesser går även ETL igenom olika faser. De olika faserna i ETL-testprocessen är följande:

ETL-testning utförs i fem steg:

1. Identifiera datakällor och krav
2. Dataregistrering
3. Implementera affärslogik och dimensionell modellering
4. Bygg och fyll i data
5. Skapa rapporter

Med den övergripande processen i åtanke, låt oss titta på de specifika testtyper som passar in i denna livscykel.

Typer av ETL-testning

1. Produktionsvalideringstestning
   Testprocess: Denna typ av ETL-testning, även kallad "tabellbalansering" eller "produktionsavstämning", utförs på data när de överförs till produktionssystem. För att stödja affärsbeslut måste produktionsdata vara i rätt ordning. Informatik Data Validation Option tillhandahåller automatisering och hantering av ETL-testning så att produktionssystem inte äventyras av felaktig data.
2. Källa till Target Testning (valideringstestning)
   Testprocess: Denna typ av testning validerar om de transformerade datavärdena matchar de förväntade målvärdena.
3. Ansökan Upgrades
   Testprocess: Denna typ av ETL-testning kan genereras automatiskt, vilket sparar avsevärd testutvecklingstid. Den kontrollerar om data existerar.tracfrån en äldre applikation eller ett äldre datalager matchar data i en ny applikation eller ett nytt datalager.
4. Metadatatestning
   Testprocess: Metadatatestning inkluderar kontroller av datatyper, kontroller av datalängder och index- eller begränsningskontroller.
5. Test av datafullständighet
   Testprocess: Datafullständighetstestning verifierar att all förväntad data laddas från källan till målet. Vanliga tester inkluderar jämförelse och validering av postantal, aggregeringar och faktiska data mellan käll- och målkolumner när transformationen är enkel eller saknas.
6. Datanoggrannhetstestning
   Testprocess: Denna testning säkerställer att data laddas och transformeras korrekt som förväntat.
7. Datatransformationstestning
   Testprocess: Testdatatransformation kan ofta inte uppnås med en enda källa SQL fråga och en jämförelse av utdata. Flera SQL-frågor kan behövas för varje rad för att verifiera transformationsreglerna.
8. Datakvalitetstestning
   Testprocess:

   Datakvalitetstester inkluderar syntaxtester och referenstester. De förhindrar affärsprocessfel orsakade av felaktiga datum eller ordernummer.

   Syntaxtester rapporterar smutsiga data baserat på ogiltiga tecken, teckenmönster och felaktig ordning för versaler eller gemener.

   Referenstester kontrollerar data mot datamodellen. Till exempel: Kund-ID.

   Datakvalitetstestning inkluderar även antalskontroller, datumkontroller, precisionskontroller, datakontroller och nollkontroller.

9. Stegvis ETL-testning
   Testprocess: Denna testning kontrollerar dataintegriteten för gammal och ny data med tillägg av ny data. Stegvis testning verifierar att infogningar och uppdateringar bearbetas som förväntat under den stegvisa ETL-processen.
10. GUI/Navigationstestning
    Testprocess: Denna testning kontrollerar navigeringen och de grafiska aspekterna av frontend-rapporterna.

Hur man skapar ETL-testfall

ETL-testning är ett koncept som kan tillämpas på olika verktyg och databaser inom informationshanteringsbranschen. Syftet med ETL-testning är att säkerställa att data som laddas från en källa till en destination efter affärsomvandlingen är korrekta. Det innebär också verifiering av data i de olika mellanstegen mellan källa och destination.

Vid ETL-testning används alltid två dokument av en ETL-testare:

1. ETL-kartaping ark: En ETL-kartaping Arket innehåller all information om käll- och destinationstabeller, inklusive varje kolumn och dess sökning i referenstabeller. ETL-testare måste vara bekanta med SQL-frågor eftersom ETL-testning kan innebära att skriva stora frågor med flera kopplingar för att validera data i vilket skede som helst. ETL-kartaping Ark ger betydande hjälp när man skriver frågor för dataverifiering.
2. Databasschema för källa och mål: Den bör förvaras nära till hands för att verifiera eventuella detaljer på kartan.ping ark.

ETL-testscenarier och testfall

1. Kartaping dokumentvalidering
   Testfall: Kontrollera om motsvarande ETL-information finns i kartanping dok. En ändringslogg bör föras i varje kartaping dok.
2. Validering
   Testfall:

   1) Validera käll- och måltabellstrukturen mot motsvarande mappningping dok.
   2) Källdatatypen och måldatatypen ska vara desamma.
   3) Längden på datatyperna i både källa och mål ska vara lika.
   4) Kontrollera att datafälttyper och format är angivna.
   5) Källdatatypens längd bör inte vara kortare än måldatatypens längd.
   6) Validera kolumnnamnen i tabellen mot kartanping dok.

3. Begränsningsvalidering
   Testfall: Se till att begränsningar är definierade för den specifika tabellen som förväntat.
4. Datakonsistensproblem
   Testfall:

   1) Datatypen och längden för ett visst attribut kan variera mellan filer eller tabeller, även om den semantiska definitionen är densamma.
   2) Missbruk av integritetsbegränsningar.

5. Fullständighetsfrågor
   Testfall:

   1) Se till att all förväntad data laddas in i måltabellen.
   2) Jämför antalet poster mellan källa och mål.
   3) Kontrollera om det finns några avvisade poster.
   4) Kontrollera att data inte är avkortade i kolumnerna i måltabellerna.
   5) Kontrollera randvärdesanalysen.
   6) Jämför unika värden för nyckelfält mellan data som laddats till lagret och källdata.

6. Korrekthetsfrågor
   Testfall:

   1) Data som är felstavade eller felaktigt registrerade.
   2) Null-, icke-unik eller data utanför intervallet.

7. Transformation
   Testfall: Validera att varje affärsregel och transformationslogik i kartanping dokumentet tillämpas korrekt på källdata innan det landar i målet.
8. Datakvalitet
   Testfall:

   1) Nummerkontroll: validera numeriska format och värden.
   2) Datumkontroll: datum måste följa ett enda format och vara konsekventa mellan poster.
   3) Precisionskontroll.
   4) Datakontroll.
   5) Nullkontroll.

9. Null validera
   Testfall: Verifiera nullvärdena där "Inte null" anges för en specifik kolumn.
10. Dubblettkontroll
    Testfall:

    1) Validera den unika nyckeln, primärnyckeln och alla andra kolumner som ska vara unika enligt affärskrav för att bekräfta att det inte finns några dubbletter av rader.
    2) Kontrollera om det finns några dubbletter i någon kolumn, t.ex.tracfrån flera källkolumner och kombinerade till en kolumn.
    3) Enligt klientens krav, se till att inga dubbletter finns i en kombination av flera kolumner inom målet.

11. Datum validering
    Testfall: Datumvärden används inom många områden av ETL-utveckling:

    1) För att veta radens skapandedatum.
    2) Identifiera aktiva poster ur ETL-utvecklingsperspektivet.
    3) Identifiera aktiva poster ur ett affärskravperspektiv.
    4) Ibland genereras uppdateringar och infogningar baserat på datumvärdena.

12. Komplett datavalidering
    Testfall:

    1) Validera hela datamängden i käll- och måltabellerna med en minusfråga som bästa lösning.
    2) Du måste utföra källa minus mål och mål minus källa.
    3) Om minusfrågan returnerar något värde, bör dessa rader betraktas som inkonsekventa.
    4) Matcha rader mellan källa och mål med hjälp av en intersect-sats.
    5) Antalet som returneras av intersect ska matcha de individuella antalen i käll- och måltabellerna.
    6) Om en minusfråga returnerar rader och antalet skärningspunkter är mindre än antalet källor eller målpunkter, finns det dubbletter av rader.

13. Data renhet
    Testfall: Onödiga kolumner bör raderas innan du laddar in i uppställningsområdet.

Typer av ETL-buggar

Även med starka testfall kan ETL-pipelines misslyckas på olika sätt. Bilden nedan sammanfattar de felkategorier du bör vara uppmärksam på, och tabellen som följer beskriver var och en.

Typ av buggar	BESKRIVNING
Användargränssnittsbuggar/kosmetiska buggar	• Relaterat till programmets grafiska gränssnitt • Typsnitt, typsnittsstorlek, färger, justering, stavfel, navigering och så vidare
Boundary Value Analysis (BVA) relaterad bugg	• Minsta och högsta värden
Equivalence Class Partitioning (ECP)-relaterad bugg	• Giltig och ogiltig typ
Input/Output buggar	• Giltiga värden accepteras inte • Ogiltiga värden accepterade
Beräkningsbuggar	• Matematiska fel • Slutresultatet är felaktigt
Ladda tillståndsbuggar	• Tillåter inte flera användare • Tillåter inte kundens förväntade belastning
Race Condition buggar	• Systemkrasch och låsning • Systemet kan inte köra klientplattformar
Versionskontrollbuggar	• Ingen logotypmatchning • Ingen versionsinformation tillgänglig • Förekommer vanligtvis i Regressionstestning
H/W buggar	• Enheten svarar inte på appen
Hjälpkälla buggar	• Fel i hjälpdokument

Testning av datalager

Testning av datalager är en testmetod där data i ett datalager testas för integritet, tillförlitlighet, noggrannhet och konsekvens för att följa företagets dataramverk. Huvudsyftet med datalagertestning är att säkerställa att den integrerade informationen i lagret är tillräckligt tillförlitlig för att företaget ska kunna fatta beslut. Medan ETL-testning fokuserar på dataförflyttning, täcker datalagertestning det bredare lagrings- och rapporteringsskiktet som ETL slutligen matar.

Skillnaden mellan databastestning och ETL-testning

Även om båda disciplinerna arbetar med strukturerad data, besvarar de olika frågor. Tabellen nedan belyser den praktiska skillnaden:

ETL-testning	Databastestning
Verifierar om data flyttas som förväntat.	Det primära målet är att kontrollera om data följer de regler och standarder som definieras i datamodellen.
Verifierar om antalet i källan och målet matchar, och att de transformerade data är som förväntat.	Verifierar att det inte finns några överblivna poster och att relationer mellan främmande och primära nyckelringar upprätthålls.
Verifierar att relationer mellan främmande primärnyckelrelationer bevaras under ETL:n.	Verifierar att det inte finns några redundanta tabeller och att databasen är optimalt normaliserad.
Verifierar dubbletter i laddad data.	Verifierar om data saknas i kolumner där det behövs.

Prestandatestning i ETL

Prestandatestning i ETL är en testteknik som säkerställer att ett ETL-system kan hantera belastningen från flera användare och transaktioner. Det primära målet med ETL Prestandatester är att optimera och förbättra sessionsprestanda genom att identifiera och eliminera prestandaflaskhalsar. Käll- och måldatabaserna, kartanpings, sessioner och själva systemet kan alla innehålla flaskhalsar.

Ett av de bästa verktygen som används för prestandatestning och finjustering är Informatica.

Ansvar för en ETL-testare

En ETL-testares huvudsakliga ansvarsområden är uppdelade i tre kategorier:

• Scenbord / SFS eller MFS
• Affärstransformationslogik tillämpas
• Target tabellinläsning från scenfil eller tabell efter att en transformation har tillämpats

Några av de dagliga uppgifterna för en ETL-testare är:

• Testa ETL mjukvara
• Testkomponenter i ETL-datalagret
• Utföra backend-datadrivna tester
• Skapa, designa och genomföra testfall, testplaner och testselar
• Identifiera problem och ge lösningar på potentiella problem
• Godkänn krav och designspecifikationer
• Validera dataöverföringar och testa platta filer
• Skriv SQL-frågor för olika scenarier, till exempel räkningstester

Automatisering av ETL-testning

Den allmänna metoden för ETL-testning är att använda SQL-skript eller visuell "ögonblicksbedömning" av data. Dessa metoder är tidskrävande, felbenägna och ger sällan fullständiga resultat. testtäckningFör att påskynda genomförandet, förbättra täckningen, minska kostnaderna och förbättra defekt detektering i produktions- och utvecklingsmiljöer, automatisering är ett viktigt behov. Ett sådant verktyg är Informatica.

Moderna team blandar också traditionell automatisering med AI-assisterade hjälpmedel som föreslår transformationstester, genererar syntetiska källdata och flaggar schemaavvikelser, vilket frigör testare att fokusera på komplex affärslogik snarare än repetitivt skriptunderhåll.

Bästa praxis för ETL-testning

1. Se till att data transformeras korrekt.
2. Utan dataförlust eller avkortning bör projekterade data laddas in i datalagret.
3. Säkerställ att ETL-applikationen avvisar ogiltiga data på lämpligt sätt, ersätter dem med standardvärden där så är tillämpligt och rapporterar dem.
4. Bekräfta att data laddas in i lagret inom föreskrivna och förväntade tidsramar för att validera skalbarhet och prestanda.
5. Alla metoder bör ha lämpliga enhetstester oavsett synlighet.
6. För att mäta deras effektivitet bör alla enhetstester använda lämpliga täckningstekniker.
7. Sträva efter ett påstående per testfall.
8. Skapa enhetstester som riktar sig mot undantag.

Kolla upp - Intervjufrågor och svar för ETL-testning

Vanliga frågor