Normalizer Transformation i Informatica med EKSEMPEL

Af: David Carter David Carter
Hours Opdateret

⚡ Smart opsummering

Normaliseringstransformationen i Informatica er en aktiv transformation, der konverterer en enkelt række, der indeholder gentagne kolonner, til flere rækker, og den genererer også de nøglekolonner, der identificerer hver forekomst, den producerer.

  • 🔁 Rækker ud af kolonner: Fire kvartalsvise salgskolonner i én kilderække bliver til fire målrækker, én for hvert kvartal.
  • 🔢 Opstår driver alt: Værdien Occurs på fanen Normalizer bestemmer, hvor mange inputporte og hvor mange outputrækker der oprettes.
  • 🧪 Udarbejdet eksempel: Seks kortping Designertrin flytter en sales_source flad fil til en sales_target-tabel via transformationen nrm_sales.
  • 🔑 Genererede porte: GK_ returnerer en stigende nøgle for hver kilderække, mens GCID_ returnerer forekomstindekset fra 1 til N.
  • 🗂️ To smagsvarianter: VSAM Normalizer læser COBOL-kilder, mens pipeline Normalizer håndterer relationelle og flade fildata.
  • ⚠️ Almindelig fælde: Hvis indstillingen Forekommer på en enkeltstående kolonne, eller hvis den efterlades på nul for en gentagende kolonne, afbrydes portlisten.
Læs mere

Normaliseringstransformation i Informatica

Hvad er normaliseringstransformation?

Normalisering er en aktiv transformation, der bruges til at konvertere en enkelt række til flere rækker og omvendt. Det er en smart måde at repræsentere dine data på en mere organiseret måde.

Hvis der i en enkelt række er gentagne data i flere kolonner, kan den opdeles i flere rækker. Nogle gange har vi data i flere forekommende kolonner. For eksempel:

Elevnavn Klasse 9 Score Klasse 10 Score Klasse 11 Score Klasse 12 Score
Student 1 50 60 65 80
Student 2 70 64 83 77

I dette tilfælde gentages klassescorekolonnen i fire kolonner. Ved hjælp af Normalizer kan vi opdele disse i følgende datasæt.

Elevnavn Klasse Score
Student 1 9 50
Student 1 10 60
Student 1 11 65
Student 1 12 80
Student 2 9 70
Student 2 10 64
Student 2 11 83
Student 2 12 77

To rækker med fem kolonner er blevet til otte rækker med tre kolonner. Da antallet af rækker, der forlader transformationen, er forskelligt fra antallet, der går ind i den, er Normalizer en aktiv transformation, og den samme regel gælder for salgseksemplet, der er bygget i næste afsnit.

Sådan bruger du normaliseringstransformation i Informatica

De følgende seks trin opbygger et kortping der læser en flad fil med kvartalsvise butikssalg og skriver én målrække pr. kvartal.

Trin 1) Opret kildetabellen "sales_source" og måltabellen "sales_target" ved hjælp af scriptet og importer dem i computer.

Download ovenstående Sales_Source.txt-fil

Trin 2) Opret et kortping med kilden “sales_source” og måltabellen “sales_target”. Kortetping Designer-lærredet indeholder derefter kildedefinitionen, dens Kildekvalifikation og måldefinitionen.

Kortping Designer-lærred med definitionen af ​​sales_source, dens kildekvalifikator og tabellen sales_target

Trin 3) Opret en ny transformation fra menuen Transformation. I vinduet Opret transformation:

  1. Vælg Normalizer som transformation
  2. Indtast navn, "nrm_sales"
  3. Vælg oprettelsesmulighed

Vinduet ser ud som skærmbilledet nedenfor, med listen over transformationstyper til venstre og navneboksen nedenunder.

Opret transformationsvindue med Normalizer valgt og navnet nrm_sales indtastet

Trin 4) Transformationen oprettes, vælg indstillingen "udført". Den tomme nrm_sales-transformation placeres nu på lærredet mellem kildekvalifikatoren og målet.

Kortping Lærred, der viser den nyoprettede nrm_sales Normalizer-transformation uden kolonner endnu

Trin 5) Double Klik på Normalizer-transformationen, og gør derefter følgende:

  1. Vælg fanen Normalisering
  2. Klik på ikonet for at oprette to kolonner
  3. Indtast kolonnenavne
  4. Indstil antallet af forekomster til 4 for salg og 0 for butiksnavn
  5. Vælg knappen OK

Værdien "Forekommer" er den vigtigste post på denne fane: den fortæller designeren, hvor mange gange kolonnen gentages i én kilderække. Butiksnavnet vises én gang pr. række, så dens værdi "Forekommer" forbliver på 0.

Fanen Normalisering i vinduet Rediger transformationer med salgskolonnen indstillet til fire forekomster og butiksnavnet indstillet til nul

Kolonner vil blive genereret i transformationen. Du vil se 4 salgskolonner, når vi sætter antallet af forekomster til 4. Ved siden af ​​dem tilføjer designeren den genererede nøgle og genererede kolonne-ID-porte, som beskrevet i næste afsnit.

Genereret portliste over nrm_sales, der viser fire salgsinputporte plus GK- og GCID-portene

Trin 6) Så i kortping:

  1. Link de fire kolonner i kildekvalifikationen for de fire kvartaler til henholdsvis normaliseringskolonnerne.
  2. Link butiksnavnkolonnen til normaliseringskolonnen
  3. Link butiksnavn og salgskolonner fra normalizer til måltabel
  4. Link GK_sales kolonne fra normalizer til måltabel

Når hvert link er tegnet, er det færdige kortping ser sådan ud.

Færdiggjort kortping med de fire kvartalsporte og butiksnavnet linket til nrm_sales og store_name-, sales- og GK_sales-portene linket til sales_target

Gem kortetping og udføre den efter oprettelse Session og workflow. For hvert kvartalssalg af en butik vil der blive oprettet en separat række ved normaliseringstransformationen.

Resultatet af vores kortping vil være ligesom –

Store navn Quarter Sales
DELHI 1 150
DELHI 2 240
DELHI 3 455
DELHI 4 100
MUMBAI 1 100
MUMBAI 2 500
MUMBAI 3 350
MUMBAI 4 340

Kildedataene havde gentagne kolonner, nemlig KVARTAL1, KVARTAL2, KVARTAL3 og KVARTAL4. Ved hjælp af Normalizer har vi omarrangeret dataene, så de passer ind i en enkelt KVARTAL-kolonne, og for én kildepost er der oprettet fire poster i målet.

På denne måde kan du normalisere data og oprette flere poster for en enkelt datakilde.

RELATEREDE ARTIKLER

Normaliseringstransformationsporte og -egenskaber

Kolonner indtastes aldrig på fanen Porte. De defineres på fanen Normalisering, og Designeren opretter derefter automatisk de matchende porte. Tabellen nedenfor forklarer, hvad hver post og hver genereret port gør.

Port eller attribut Hvad gør den
Opstår Antal forekomster af kolonnen i én kilderække. En værdi på 0 markerer en enkeltstående kolonne, f.eks. butiksnavn.
Niveau Grupperer kolonner i et posthierarki. Det bruges til COBOL-kilder og forbliver på 0 for en flad struktur.
Input-porte En pipeline-normalisering opretter én inputport pr. forekomst, så en Occurs-værdi på 4 producerer fire inputporte.
Udgangsport En kolonne med flere forekomster har en enkelt outputport, der returnerer én række pr. forekomst.
GK_ Genereret nøgle. Integrationstjenesten øger dette sekvensnummer, hver gang den behandler en kilderække.
GCID_ Genereret kolonne-ID. Det er indekset for forekomsten, så en kolonne, der forekommer fire gange, returnerer 1, 2, 3 eller 4.

Forskellen mellem de to genererede porte er værd at huske, fordi begge ligner tællere. GCID genstarter ved 1 for hver kilderække, mens GK fortsætter med at klatre hen over hele sessionen. I salgskortetping, GK_sales er den port, der er knyttet til målet, så hver af de otte outputrækker har en distinkt nøgle.

To indstillinger på fanen Egenskaber styrer, hvordan tasten opfører sig mellem kørsel. Nulstil returnerer den genererede nøgleværdi ved slutningen af ​​sessionen til den værdi, den havde, før sessionen startede. Genstart starter den genererede nøglesekvens ved 1 hver gang sessionen kører, og tilsidesætter dermed den sekvensværdi, der vises på fanen Porte. De fulde attributdefinitioner er offentliggjort i PowerCenter Transformationsguide.

VSAM Normalizer vs. Pipeline Normalizer

PowerCenter leverer to versioner af den samme transformation, og eksemplet ovenfor bruger den anden. Valget mellem dem afgøres udelukkende af kilden.

Aspect VSAM Normalizer Pipeline Normalizer
Rolle på kortetping Fungerer som kildekvalifikator for en COBOL-kildedefinition Placeres hvor som helst i pipelinen, nedstrøms for en normal kildekvalifikator
Hvordan det skabes Oprettes automatisk, når COBOL-kilden trækkes ind i kortetping Oprettet fra menuen Transformation, som i trin 3 ovenfor
Inputporte for en gentagende kolonne Én inputport til hele den flerforekommende kolonne Én inputport for hver forekomst af kolonnen
Redigering af kolonnerne Ændr COBOL-kilden og genskab transformationen Rediger kolonnerne på fanen Normalisering når som helst
Typiske data Mainframe-filer ved hjælp af OCCURS- og REDEFINES-klausuler Gentagne kolonner i relationelle tabeller og flade filer

En COBOL-fil kan også indeholde flere posttyper i den samme fysiske fil, hvilket er grunden til, at VSAM-versionen læser en kopibog i stedet for en kolonneliste. Til hverdagsbrug ETL arbejde mod databaser og afgrænsede filer, er pipeline Normalizer den, man skal bruge.

Almindelige Normalizer Transformation-fejl og hvordan man retter dem

De fleste Normalizer-problemer tractilbage til to eller tre indstillinger. Listen nedenfor dækker dem, der oftest dukker op under udviklingen.

  • Portlisten stemmer ikke overens med kilden. For få eller for mange inputporte betyder næsten altid, at værdien for Forekommer er forkert. Åbn fanen Normalisering igen, og indstil Forekommer til det nøjagtige antal gentagne kolonner, og gentilknyt derefter kortet.ping, fordi ændring af Occurs genopbygger portene.
  • Forekommer i en enkeltstående kolonne. Hvis du giver butiksnavnet en Occurs-værdi større end 0, multipliceres rækker, der aldrig skulle gentages. Kolonner, der kun forekommer, forbliver på 0.
  • Datokolonner kan ikke defineres. Fanen Normalisering accepterer kun kolonnerne String, Nstring og Number, så en dato skal overføres som en streng og konverteres i en Expression-transformation, før den når målet.
  • Rækkeantallet ser forkert ud i sessionsloggen. At læse to kilderækker og skrive otte målrækker er korrekt adfærd for en Occurs-værdi på 4, ikke en defekt. Normaliseringsfunktionen er aktiv netop fordi disse tællinger er forskellige.
  • Genererede nøgler gentages eller hopper mellem kørsler. Dette er parret Nulstil og Genstart på fanen Egenskaber. Genstart tvinger sekvensen tilbage til 1 for hver session, hvilket sjældent er ønskeligt, når nøglen lander i en varehustabel.
  • Rettelser på fanen Porte gemmes ikke. Porte genereres, ikke redigeres. Enhver kolonneændring hører hjemme på fanen Normalizer, og for en VSAM Normalizer hører ændringen hjemme i selve COBOL-kilden.

Når flere gentagne grupper skal opdeles på én gang, er det normalt renere at bruge én Normalizer pr. gruppe og kombinere resultaterne efterfølgende end at overbelaste en enkelt transformation. Hvor kravet går den anden vej, og mange rækker skal kollapses til én, er en Aggregatortransformation er det rigtige værktøj i stedet.

Ofte Stillede Spørgsmål

Nej. Transformationen opdeler kun én række i mange. Sammenfoldning af mange rækker til én udføres med en aggregator eller med et udtryk, der drejer værdier ved hjælp af variable porte, afhængigt af hvordan outputkolonnerne er formet.

Kun streng, Nstreng og tal. Der er ingen dato- og klokkeslætsindstilling på fanen Normalisering, så datoværdier skal gennemgå transformationen som strenge og konverteres i en udtrykstransformation på begge sider af den.

Ja. Kort over integration af cloud-dataping designer tilbyder en Normalizer-transformation med samme formål, konfigureret via en forekomstværdi pr. felt. Fanebladlayoutet adskiller sig fra PowerCenter, så kortpings genopbygges i stedet for at kopieres på tværs.

En Union fletter rækker, der ankommer fra flere pipelines, sammen til én strøm med en delt portliste. En Normalizer arbejder på én pipeline og multiplicerer rækker ud af gentagne kolonner i hver indgående post.

En pipeline Normalizer kan bygges i Transformation Developer eller promoveres fra et kortping, og derefter delt. En VSAM Normalizer kan ikke, fordi den er knyttet til den COBOL-kildedefinition, der genererede den.

Selve transformationen er billig, fordi den ikke indeholder nogen cache. Omkostningerne opstår efterfølgende: en Occurs-værdi på fire firedobler rækkevolumenet for hver senere transformation, og det skal målskriveren håndtere.

Profileringsmodeller scanner kildekolonner og markerer gentagne grupper som f.eks. KVARTAL1 til KVARTAL4, der hører hjemme i rækker i stedet for kolonner. Forslaget er et udgangspunkt – forekommende værdier og nøglehåndtering kræver stadig en udvikler til at bekræfte dem.

Det hjælper rundt på kortetping snarere end indeni den — at skrive den SQL, der fjerner pivoteringen af ​​en tabel til sammenligning, generere testdata eller udarbejde parameterfiler. Designer-lærredet i sig selv er ikke noget, Copilot kan redigere.

Opsummer dette indlæg med: