ETL-testhandleiding

Wat is ETL?

ETL staat voor Extract-Transform-LoadHet beschrijft hoe gegevens van een bronsysteem naar een datawarehouse worden verplaatst. Gegevens worden bijvoorbeeld...tracDe gegevens worden opgehaald uit een OLTP-database, getransformeerd om te voldoen aan het schema van het datawarehouse en vervolgens in de datawarehouse-database geladen. Veel datawarehouses bevatten ook gegevens uit niet-OLTP-systemen, zoals tekstbestanden, oudere applicaties en spreadsheets.

Een winkel kan bijvoorbeeld aparte afdelingen hebben, zoals verkoop, marketing en logistiek. Elke afdeling verwerkt klantgegevens onafhankelijk en de manier waarop die gegevens worden opgeslagen verschilt. De verkoopafdeling kan bijvoorbeeld gegevens opslaan op basis van de klantnaam, terwijl de marketingafdeling klant-ID's gebruikt.

Als businessteams de volledige aankoopgeschiedenis van een klant over verschillende marketingcampagnes heen willen bekijken, maakt de onsamenhangende data dat erg omslachtig. De oplossing is om een datawarehouse Met behulp van ETL kunnen gegevens uit verschillende bronnen in een uniforme structuur worden opgeslagen. ETL kan uiteenlopende datasets omzetten in een uniforme structuur, zodat BI-tools later zinvolle inzichten en rapporten kunnen genereren.

Het volgende diagram toont de processtroom van ETL-testen en de kernconcepten die in deze handleiding aan bod komen:

1) Extract

• Extract relevante gegevens uit een of meer bronsystemen.

2) Transform

• Zet de gegevens om naar het DW-formaat (Data Warehouse).
• Bouwsleutels: een sleutel is een of meer data-attributen die een entiteit uniek identificeren. Diverse soorten sleutels Primaire sleutel, alternatieve sleutel, externe sleutel, samengestelde sleutel en surrogaatsleutel zijn de sleutels die worden onderscheiden. Het datawarehouse is eigenaar van deze sleutels en staat nooit toe dat een andere entiteit ze toewijst.
• Gegevensopschoning: nadat de gegevens zijn geëxtracNa de eerste fase gaat het systeem over naar de volgende fase: opschonen en conformeren. Opschonen corrigeert ontbrekende gegevens en identificeert fouten. Conformeren lost conflicten op tussen incompatibele datasets, zodat deze in een bedrijfsdatawarehouse kunnen worden gebruikt. Het systeem genereert ook metadata die helpen bij het diagnosticeren van problemen in bronsystemen en het verbeteren van de datakwaliteit.

3) Laden

• Gegevens in het datawarehouse laden.
• Aggregaties maken: een aggregaat vat gegevens uit een verzameling samen en slaat deze op. feitentabel om de prestaties van zoekopdrachten van eindgebruikers te verbeteren.

Wat is ETL-testen?

ETL-testen worden uitgevoerd om ervoor te zorgen dat de gegevens die na een bedrijfstransformatie van een bron naar een bestemming worden geladen, accuraat zijn. Het omvat ook de verificatie van gegevens in de verschillende tussenliggende stappen tussen bron en bestemming. Omdat ETL staat voor Extract-Transform-Load, ETL-testen omvat elk van deze drie fasen en de punten waar gegevens ertussen worden uitgewisseld.

Waarom is ETL-testen belangrijk?

Als je eenmaal begrijpt wat ETL-testen inhoudt, rijst de vraag waarom organisaties er zoveel moeite in steken. Zakelijke beslissingen zijn afhankelijk van correcte, complete en betrouwbare data, dus een enkele transformatiefout kan grote gevolgen hebben voor financiële rapporten, klantanalyses en wettelijke rapportages.

De volgende punten illustreren de praktische waarde van gedegen ETL-testen:

• Nauwkeurigheid van de gegevens: Het bevestigt dat de waarden die door bedrijfsregels worden getransformeerd, overeenkomen met de gedocumenteerde kaart.ping specificaties, waardoor stille corruptie wordt voorkomen.
• Betrouwbare berichtgeving: Dashboards en BI-tools zijn afhankelijk van het datawarehouse, daarom beschermen geverifieerde ETL-pipelines elk daaropvolgend rapport en elke KPI.
• Naleving van de regelgeving: Sectoren zoals de bank-, gezondheidszorg- en verzekeringssector moeten aantonen dat de herkomst en integriteit van gegevens van begin tot eind gewaarborgd zijn.
• Minder herbewerking: Door defecten in een vroeg stadium op te sporen, worden kostbare herlaadprocessen, handmatige correcties en fouten die de klant ondervindt, voorkomen.
• Prestatiegarantie: ETL-testen meten laadvensters, doorvoer en knelpunten, zodat het datawarehouse kan blijven schalen naarmate het datavolume toeneemt.

Nu deze motivaties duidelijk zijn, beschrijft het volgende onderdeel het gestructureerde proces dat ETL-testers volgen bij daadwerkelijke projecten.

ETL-testproces

Net als andere testprocessen doorloopt ETL ook verschillende fasen. De verschillende fasen van het ETL-testproces zijn als volgt:

ETL-testen worden in vijf fasen uitgevoerd:

1. Identificeren van gegevensbronnen en vereisten
2. data acquisitie
3. Implementeer bedrijfslogica en dimensionale modellering.
4. Gegevens opbouwen en invullen
5. Rapporten bouwen

Laten we, met het algemene proces in gedachten, eens kijken naar de specifieke testtypen die binnen deze levenscyclus passen.

Soorten ETL-testen

1. Productievalidatietesten
   Testproces: Deze vorm van ETL-testen, ook wel "tabelbalancering" of "productieafstemming" genoemd, wordt uitgevoerd op data die naar productiesystemen wordt verplaatst. Om zakelijke beslissingen te ondersteunen, moeten de productiedata in de juiste volgorde staan. Informatica De optie voor gegevensvalidatie biedt mogelijkheden voor automatisering en beheer van ETL-testen, zodat productiesystemen niet worden aangetast door onjuiste gegevens.
2. Bron naar Target Testen (validatietesten)
   Testproces: Dit type test valideert of de getransformeerde datawaarden overeenkomen met de verwachte doelwaarden.
3. Aanvraag Upgrades
   Testproces: Dit type ETL-test kan automatisch worden gegenereerd, waardoor aanzienlijke tijd wordt bespaard bij het ontwikkelen van tests. Het controleert of de gegevens correct zijn verwerkt.tracGegevens uit een oudere applicatie of repository komen overeen met de gegevens in een nieuwe applicatie of repository.
4. Metagegevens testen
   Testproces: Het testen van metadata omvat controles op gegevenstypen, gegevenslengte en index- of constraintcontroles.
5. Testen van de volledigheid van gegevens
   Testproces: Een data-compleetheidstest verifieert of alle verwachte gegevens vanuit de bron in het doel zijn geladen. Gangbare tests omvatten het vergelijken en valideren van het aantal records, aggregaties en de werkelijke gegevens tussen bron- en doelkolommen wanneer de transformatie eenvoudig is of ontbreekt.
6. Nauwkeurigheidstests van gegevens
   Testproces: Deze test garandeert dat de gegevens correct worden geladen en verwerkt zoals verwacht.
7. Testen van gegevenstransformatie
   Testproces: Het testen van datatransformaties kan vaak niet met één enkele bron worden uitgevoerd. SQL Een query en een vergelijking van de uitvoer. Mogelijk zijn meerdere SQL-query's per rij nodig om de transformatieregels te controleren.
8. Testen van gegevenskwaliteit
   Testproces:

   Tests voor datakwaliteit omvatten syntaxcontroles en referentiecontroles. Ze voorkomen fouten in bedrijfsprocessen die worden veroorzaakt door onjuiste datums of ordernummers.

   Syntaxcontroles rapporteren onjuiste gegevens op basis van ongeldige tekens, tekenpatronen en een onjuiste volgorde van hoofd- of kleine letters.

   Referentietests controleren de gegevens aan de hand van het datamodel. Bijvoorbeeld: klant-ID.

   Bij het testen van de datakwaliteit worden ook controles uitgevoerd op getallen, datums, precisie, gegevens en null-waarden.

9. Incrementeel ETL-testen
   Testproces: Deze test controleert de data-integriteit van oude en nieuwe data bij het toevoegen van nieuwe data. Incrementele testen verifiëren of invoegingen en updates naar verwachting worden verwerkt tijdens het incrementele ETL-proces.
10. GUI/navigatietesten
    Testproces: Deze test controleert de navigatie en de gebruikersinterface van de front-end rapporten.

Hoe u een ETL-testcase maakt

ETL-testen is een concept dat kan worden toegepast op verschillende tools en databases in de informatiemanagementsector. Het doel van ETL-testen is ervoor te zorgen dat de gegevens die na een bedrijfstransformatie van een bron naar een bestemming worden geladen, accuraat zijn. Het omvat ook de verificatie van gegevens in de verschillende tussenliggende fasen tussen bron en bestemming.

Tijdens het uitvoeren van ETL-testen gebruikt een ETL-tester altijd twee documenten:

1. ETL-kaartping vellen: Een ETL-kaartping Het spreadsheet bevat alle informatie van de bron- en doeltabellen, inclusief elke kolom en de bijbehorende opzoeking in de referentietabellen. ETL-testers moeten vertrouwd zijn met SQL-query's, omdat ETL-testen het schrijven van complexe query's met meerdere joins kunnen omvatten om gegevens in elke fase te valideren. ETL-kaartping Sheets bieden aanzienlijke hulp bij het schrijven van query's voor gegevensverificatie.
2. Databaseschema van bron en doel: Het is raadzaam de kaart bij de hand te houden om elk detail op de kaart te kunnen controleren.ping vellen.

ETL-testscenario's en testcases

1. Wereldmapping documentvalidatie
   Testgevallen: Controleer of de bijbehorende ETL-informatie in de kaart is opgenomen.ping document. Er moet voor elke kaart een wijzigingslogboek worden bijgehouden.ping dok.
2. Validatie
   Testgevallen:

   1) Valideer de structuur van de bron- en doeltabel aan de hand van de bijbehorende kaart.ping dok.
   2) Het gegevenstype van de bron en het gegevenstype van het doel moeten hetzelfde zijn.
   3) De lengte van de gegevenstypen in zowel de bron als het doel moet gelijk zijn.
   4) Controleer of de gegevenstypen en -indelingen van de velden zijn gespecificeerd.
   5) De lengte van het brongegevenstype mag niet kleiner zijn dan de lengte van het doelgegevenstype.
   6) Controleer de kolomnamen in de tabel aan de hand van de kaart.ping dok.

3. Beperkingvalidatie
   Testgevallen: Zorg ervoor dat de beperkingen voor de betreffende tabel correct zijn gedefinieerd.
4. Problemen met de consistentie van gegevens
   Testgevallen:

   1) Het gegevenstype en de lengte voor een bepaald attribuut kunnen variëren tussen bestanden of tabellen, zelfs als de semantische definitie hetzelfde is.
   2) Misbruik van integriteitsbeperkingen.

5. Volledigheidsproblemen
   Testgevallen:

   1) Zorg ervoor dat alle verwachte gegevens in de doeltabel zijn geladen.
   2) Vergelijk het aantal records tussen de bron en het doel.
   3) Controleer of er afgewezen documenten zijn.
   4) Controleer of de gegevens in de kolommen van de doeltabellen niet zijn afgekapt.
   5) Controleer de grenswaardeanalyse.
   6) Vergelijk de unieke waarden van de sleutelvelden tussen de gegevens die in het datawarehouse zijn geladen en de brongegevens.

6. Correctheidsproblemen
   Testgevallen:

   1) Gegevens die verkeerd gespeld of onjuist geregistreerd zijn.
   2) Null-, niet-unieke of buiten het bereik gelegen gegevens.

7. Transformatie
   Testgevallen: Controleer of elke bedrijfsregel en transformatielogica in de kaart correct is.ping Het document wordt correct toegepast op de brongegevens voordat deze in het doel terechtkomen.
8. Datakwaliteit
   Testgevallen:

   1) Getalcontrole: valideer numerieke formaten en waarden.
   2) Datumcontrole: datums moeten een uniform formaat hebben en consistent zijn in alle records.
   3) Nauwkeurigheidscontrole.
   4) Gegevenscontrole.
   5) Null-controle.

9. Nul valideren
   Testgevallen: Controleer de null-waarden waar "Niet null" is opgegeven voor een specifieke kolom.
10. Dubbele cheque
    Testgevallen:

    1) Valideer de unieke sleutel, de primaire sleutel en alle andere kolommen die uniek moeten zijn volgens de bedrijfsvereisten om te bevestigen dat er geen dubbele rijen zijn.
    2) Controleer of er dubbele waarden in een van de kolommen voorkomen, bijvoorbeeld...tracDe gegevens zijn afkomstig uit meerdere bronkolommen en samengevoegd tot één kolom.
    3) Zorg er, conform de eisen van de klant, voor dat er geen duplicaten voorkomen in combinaties van meerdere kolommen binnen het doel.

11. Datum validatie
    Testgevallen: Datumwaarden worden in veel aspecten van ETL-ontwikkeling gebruikt:

    1) Om de aanmaakdatum van de rij te weten.
    2) Identificeer actieve records vanuit het perspectief van ETL-ontwikkeling.
    3) Identificeer actieve records vanuit het perspectief van de bedrijfsvereisten.
    4) Soms worden er, op basis van de datumwaarden, updates en invoegingen gegenereerd.

12. Volledige gegevensvalidatie
    Testgevallen:

    1) Valideer de volledige dataset in de bron- en doeltabellen met behulp van een min-query als de beste oplossing.
    2) Je moet bron min doel en doel min bron uitvoeren.
    3) Als de min-query een waarde retourneert, moeten die rijen als niet-overeenkomend worden beschouwd.
    4) Vergelijk rijen tussen bron en doel met behulp van een intersect-instructie.
    5) Het aantal dat door intersect wordt geretourneerd, moet overeenkomen met de individuele aantallen in de bron- en doeltabellen.
    6) Als een min-query rijen retourneert en het aantal overlappingen kleiner is dan het aantal in de bron of het doel, dan zijn er dubbele rijen aanwezig.

13. Gegevenszuiverheid
    Testgevallen: Onnodige kolommen moeten worden verwijderd voordat ze in het verzamelgebied worden geladen.

Soorten ETL-bugs

Zelfs met sterke testcases kunnen ETL-pipelines op verschillende manieren falen. De onderstaande afbeelding geeft een overzicht van de bugcategorieën waar u op moet letten, en de tabel die volgt beschrijft elke categorie.

Soort bugs	Beschrijving
Bugs in de gebruikersinterface/cosmetische bugs	• Gerelateerd aan de GUI van de applicatie • Lettertype, lettergrootte, kleuren, uitlijning, spelfouten, navigatie, enzovoort
Boundary Value Analysis (BVA) gerelateerde bug	• Minimale en maximale waarden
Equivalence Class Partitioning (ECP) gerelateerde bug	• Geldig en ongeldig type
Invoer-/uitvoerfouten	• Geldige waarden niet geaccepteerd • Ongeldige waarden geaccepteerd
Berekeningsfouten	• Wiskundige fouten • De uiteindelijke uitvoer is verkeerd
Laadconditie-bugs	• Meerdere gebruikers zijn niet toegestaan • Maakt de door de klant verwachte belasting niet mogelijk
Raceconditie-bugs	• Systeemcrash en vastlopen • Systeem kan geen clientplatforms uitvoeren
Bugs in versiebeheer	• Geen logo-matching • Geen versie-informatie beschikbaar • Komt meestal voor in Regressie Testing
H/W-bugs	• Apparaat reageert niet op de applicatie
Help Bronbugs	• Fouten in helpdocumenten

Testen van datawarehouses

Testen van datawarehouses ETL-testen is een testmethode waarbij de gegevens in een datawarehouse worden getest op integriteit, betrouwbaarheid, nauwkeurigheid en consistentie, conform het dataframework van het bedrijf. Het belangrijkste doel van datawarehouse-testen is ervoor te zorgen dat de geïntegreerde gegevens in het datawarehouse betrouwbaar genoeg zijn om beslissingen op te baseren. Waar ETL-testen zich richten op de verplaatsing van gegevens, omvat datawarehouse-testen de bredere opslag- en rapportagelaag die uiteindelijk door ETL wordt gevoed.

Verschil tussen databasetesten en ETL-testen

Hoewel beide disciplines met gestructureerde data werken, beantwoorden ze verschillende vragen. De onderstaande tabel illustreert het praktische verschil:

ETL-testen	Testen van databases
Controleert of de gegevens naar verwachting zijn verplaatst.	Het voornaamste doel is te controleren of de gegevens voldoen aan de regels en standaarden die in het datamodel zijn vastgelegd.
Controleert of de aantallen in de bron en het doel overeenkomen en of de getransformeerde gegevens aan de verwachtingen voldoen.	Controleert of er geen weesrecords zijn en of de relaties tussen buitenlandse primaire sleutels worden gehandhaafd.
Controleert of de externe primaire sleutelrelaties behouden blijven tijdens het ETL-proces.	Controleert of er geen redundante tabellen zijn en of de database optimaal genormaliseerd is.
Controleert op duplicaten in de geladen gegevens.	Controleert of er gegevens ontbreken in de kolommen waar dat nodig is.

Prestatietesten in ETL

Prestatietesten in ETL ETL is een testtechniek die ervoor zorgt dat een ETL-systeem de belasting van meerdere gebruikers en transacties aankan. Het primaire doel van ETL is... Performance Testing Het doel is om de sessieprestaties te optimaliseren en te verbeteren door prestatieknelpunten te identificeren en te elimineren. De bron- en doeldatabases worden in kaart gebracht.pingZowel sessies als het systeem zelf kunnen knelpunten bevatten.

Een van de beste tools voor prestatietesten en -optimalisatie is Informatica.

Verantwoordelijkheden van een ETL-tester

De belangrijkste verantwoordelijkheden van een ETL-tester zijn onderverdeeld in drie categorieën:

• Podiumtafel / SFS of MFS
• Bedrijfstransformatielogica toegepast
• Target Tabel laden vanuit een stagingbestand of -tabel na het toepassen van een transformatie

Enkele dagelijkse taken van een ETL-tester zijn:

• ETL-software testen
• Test de componenten van het ETL-datawarehouse.
• Voer datagestuurde backend-tests uit.
• Creëren, ontwerpen en uitvoeren testgevallen, testplannen en testharnassen
• Identificeer problemen en bied oplossingen voor mogelijke problemen.
• Goedkeuren van eisen en ontwerpspecificaties
• Valideer gegevensoverdrachten en test platte bestanden.
• Schrijf SQL-query's voor verschillende scenario's, zoals bijvoorbeeld tellingen.

Automatisering van ETL-testen

De algemene methodologie voor ETL-testen is het gebruik van SQL-scripts of visuele inspectie van de data. Deze benaderingen zijn tijdrovend, foutgevoelig en leveren zelden een volledig resultaat op. test dekkingOm de uitvoering te versnellen, de dekking te verbeteren, de kosten te verlagen en de resultaten te verbeteren. defect Voor snelle detectie in productie- en ontwikkelomgevingen is automatisering essentieel. Informatica is daar een voorbeeld van.

Moderne teams combineren traditionele automatisering met AI-ondersteunde tools die transformatietests voorstellen, synthetische brongegevens genereren en schema-afwijkingen signaleren. Hierdoor kunnen testers zich concentreren op complexe bedrijfslogica in plaats van op repetitief scriptonderhoud.

Beste praktijken voor ETL-testen

1. Zorg ervoor dat de gegevens correct worden getransformeerd.
2. Zonder gegevensverlies of -afkapping moeten de geprojecteerde gegevens in het datawarehouse worden geladen.
3. Zorg ervoor dat de ETL-applicatie ongeldige gegevens correct afwijst, deze waar mogelijk vervangt door standaardwaarden en hierover rapporteert.
4. Controleer of de gegevens binnen de voorgeschreven en verwachte tijdsbestekken in het datawarehouse worden geladen om de schaalbaarheid en prestaties te valideren.
5. Alle methoden moeten, ongeacht hun zichtbaarheid, passende unit-tests hebben.
6. Om hun effectiviteit te meten, moeten alle unit-tests gebruikmaken van geschikte dekkingsmethoden.
7. Streef naar één bewering per testgeval.
8. creëren eenheidstests die op uitzonderingen gericht zijn.

Uitchecken - Vragen en antwoorden over ETL-testinterviews

Veelgestelde vragen