Normalizer Transformation i Informatica med EXEMPEL
David Carter
⚡ Smart sammanfattning
Normaliseringstransformationen i Informatica är en aktiv transformation som konverterar en enskild rad som innehåller upprepade kolumner till flera rader, och den genererar också nyckelkolumnerna som identifierar varje förekomst den producerar.
Vad är normaliseringstransformation?
Normaliserare är en aktiv transformation som används för att konvertera en enskild rad till flera rader och vice versa. Det är ett smart sätt att representera dina data på ett mer organiserat sätt.
Om det i en enda rad finns upprepade data i flera kolumner kan den delas upp i flera rader. Ibland har vi data i flera förekommande kolumner. Till exempel:
| Elevs namn | Klass 9 Poäng | Klass 10 Poäng | Klass 11 Poäng | Klass 12 Poäng |
| Student 1 | 50 | 60 | 65 | 80 |
| Student 2 | 70 | 64 | 83 | 77 |
I det här fallet upprepas klasspoängkolumnen i fyra kolumner. Med hjälp av Normalizer kan vi dela upp dessa i följande datamängd.
| Elevs namn | Klass | Betyg |
| Student 1 | 9 | 50 |
| Student 1 | 10 | 60 |
| Student 1 | 11 | 65 |
| Student 1 | 12 | 80 |
| Student 2 | 9 | 70 |
| Student 2 | 10 | 64 |
| Student 2 | 11 | 83 |
| Student 2 | 12 | 77 |
Två rader med fem kolumner har blivit åtta rader med tre kolumner. Eftersom antalet rader som lämnar transformationen skiljer sig från antalet som går in i den, är Normalizer en aktiv transformation, och samma regel gäller för försäljningsexemplet som skapas i nästa avsnitt.
Hur man använder normaliseringstransformation i Informatica
Följande sex steg skapar en kartaping som läser en platt fil med kvartalsvisa butiksförsäljningar och skriver en målrad per kvartal.
Steg 1) Skapa källtabellen "sales_source" och måltabellen "sales_target" med hjälp av skriptet och importera dem i Informatik.
Ladda ner filen Sales_Source.txt ovan
Steg 2) Skapa en kartaping med källan "sales_source" och måltabellen "sales_target". Kartanping Designer-canvasen innehåller sedan källdefinitionen, dess Källkval och måldefinitionen.
Steg 3) Skapa en ny transformation från menyn Transformation. I fönstret Skapa transformation:
- Välj Normaliserare som transformation
- Ange namn, "nrm_sales"
- Välj skapa alternativ
Fönstret ser ut som skärmdumpen nedan, med listan över transformationstyper till vänster och namnrutan under.
Steg 4) Transformationen kommer att skapas, välj alternativet "klar". Den tomma nrm_sales-transformationen placeras nu på arbetsytan mellan källkvalificeraren och målet.
Steg 5) Double klicka på Normalizer-transformationen och gör sedan följande:
- Välj fliken Normaliserare
- Klicka på ikonen för att skapa två kolumner
- Ange kolumnnamn
- Ställ in antalet förekomster till 4 för försäljning och 0 för butiksnamn
- Välj OK-knappen
Värdet Occurs är den enskilt viktigaste posten på den här fliken: det anger för designern hur många gånger kolumnen upprepas i en källrad. Butiksnamnet visas en gång per rad, så dess värde Occurs förblir 0.
Kolumner kommer att genereras i transformationen. Du kommer att se 4 försäljningskolumner när vi har satt antalet förekomster till 4. Bredvid dem lägger designern till den genererade nyckeln och genererade kolumn-ID-portar som beskrivs i nästa avsnitt.
Steg 6) Sedan i kartaping:
- Länka de fyra kolumnerna i källkvalificeraren för de fyra kvartalen till respektive normaliseringskolumner.
- Länka kolumnen butiksnamn till normaliseringskolumnen
- Länka butiksnamn och försäljningskolumner från normaliserare till måltabell
- Länka GK_sales-kolumnen från normalizer till måltabell
När varje länk är ritad, den färdiga kartanping ser ut så här.
Spara kartanping och kör den efter att ha skapat den session och arbetsflöde. För varje kvartalsförsäljning av en butik kommer en separat rad att skapas av normaliseringstransformationen.
Resultatet av vår kartaping kommer att bli som –
| Affärsnamn | Kvartal | Utförsäljning |
| DELHI | 1 | 150 |
| DELHI | 2 | 240 |
| DELHI | 3 | 455 |
| DELHI | 4 | 100 |
| MUMBAI | 1 | 100 |
| MUMBAI | 2 | 500 |
| MUMBAI | 3 | 350 |
| MUMBAI | 4 | 340 |
Källdata hade upprepade kolumner, nämligen KVARTAL1, KVARTAL2, KVARTAL3 och KVARTAL4. Med hjälp av Normalizer har vi ordnat om data så att de passar in i en enda kolumn av KVARTAL, och för en källpost skapas fyra poster i målet.
På detta sätt kan du normalisera data och skapa flera poster för en enda datakälla.
Normaliseringstransformationsportar och egenskaper
Kolumner skrivs aldrig in på fliken Portar. De definieras på fliken Normaliserare, och Designern skapar sedan matchande portar automatiskt. Tabellen nedan förklarar vad varje post och varje genererad port gör.
| Port eller attribut | Vad den gör |
| inträffar | Antal förekomster av kolumnen på en källrad. Värdet 0 markerar en engångsförekommande kolumn, till exempel butiksnamn. |
| Nivå | Grupperar kolumner i en posthierarki. Den används för COBOL-källor och förblir på 0 för en platt struktur. |
| Ingångsportar | En pipeline-normaliserare skapar en indataport per förekomst, så ett Occurs-värde på 4 producerar fyra indataportar. |
| utgångsport | En kolumn som förekommer flera gånger har en enda utdataport som returnerar en rad per förekomst. |
| GK_ | Genererad nyckel. Integrationstjänsten ökar detta sekvensnummer varje gång den bearbetar en källrad. |
| GCID_ | Genererat kolumn-ID. Det är indexet för förekomsten, så en kolumn som förekommer fyra gånger returnerar 1, 2, 3 eller 4. |
Skillnaden mellan de två genererade portarna är värd att komma ihåg, eftersom båda ser ut som räknare. GCID startar om vid 1 för varje källrad, medan GK fortsätter att klättra över hela sessionen. I försäljningskartanping, GK_sales är porten som är länkad till målet, så var och en av de åtta utdataraderna har en distinkt nyckel.
Två inställningar på fliken Egenskaper styr hur tangenten beter sig mellan körningar. Återställa returnerar det genererade nyckelvärdet i slutet av sessionen till det värde det hade innan sessionen startade. Omstart startar den genererade nyckelsekvensen vid 1 varje gång sessionen körs, och åsidosätter sekvensvärdet som visas på fliken Portar. Fullständiga attributdefinitioner publiceras i PowerCenter Transformation Guide.
VSAM-normaliserare kontra pipeline-normaliserare
PowerCenter levererar två versioner av samma transformation, och exemplet ovan använder den andra. Valet mellan dem avgörs helt av källan.
| Aspect | VSAM-normaliserare | Pipeline Normalizer |
| Roll på kartanping | Fungerar som källkvalificerare för en COBOL-källdefinition | Sitter var som helst i pipelinen, nedströms en vanlig källkvalificerare |
| Hur den skapas | Skapas automatiskt när COBOL-källan dras in i kartanping | Skapad från Transformationsmenyn, som i steg 3 ovan |
| Inmatningsportar för en upprepande kolumn | En inmatningsport för hela den flerfaldigt förekommande kolumnen | En inmatningsport för varje förekomst av kolumnen |
| Redigera kolumnerna | Ändra COBOL-källan och återskapa transformationen | Redigera kolumnerna på fliken Normaliserare när som helst |
| Typiska data | Stordatorfiler med hjälp av OCCURS- och REDEFINES-klausuler | Upprepade kolumner i relationstabeller och platta filer |
En COBOL-fil kan också innehålla flera posttyper i samma fysiska fil, vilket är anledningen till att VSAM-versionen läser en kopiebok snarare än en kolumnlista. För vardagsbruk ETL arbeta mot databaser och avgränsade filer, är pipeline Normalizer den man bör använda.
Vanliga fel vid normaliseringstransformation och hur man åtgärdar dem
De flesta Normalizer-problem tractillbaka till två eller tre inställningar. Listan nedan täcker de som dyker upp oftast under utvecklingen.
- Portlistan matchar inte källan. För få eller för många inmatningsportar betyder nästan alltid att värdet för Förekommer är fel. Öppna fliken Normaliserare igen och ställ in Förekommer till exakt antal upprepade kolumner, länka sedan om kartan.ping, eftersom ändringen Occurs återskapar portarna.
- Inträffar i en engångsförekommande kolumn. Om butiksnamnet får ett Occurs-värde större än 0 multipliceras rader som aldrig var avsedda att upprepas. Engångsförekommande kolumner behåller värdet 0.
- Datumkolumner kan inte definieras. Fliken Normaliserare accepterar endast kolumnerna String, Nstring och Number, så ett datum måste bäras som en sträng och konverteras i en Expression-transformation innan det når målet.
- Radantalet ser fel ut i sessionsloggen. Att läsa två källrader och skriva åtta målrader är korrekt beteende för ett Occurs-värde på 4, inte en defekt. Normaliseraren är aktiv just för att dessa antal skiljer sig åt.
- Genererade nycklar upprepas eller hoppar mellan körningar. Detta är paret Återställ och Starta om på fliken Egenskaper. Omstart tvingar sekvensen tillbaka till 1 för varje session, vilket sällan är önskvärt när nyckeln landar i en datalagertabell.
- Redigeringar på fliken Portar kommer inte att sparas. Portar genereras, inte redigeras. Varje kolumnändring hör hemma på fliken Normaliserare, och för en VSAM-normaliserare hör ändringen hemma i själva COBOL-källan.
När flera upprepande grupper måste delas upp samtidigt är det vanligtvis renare att använda en Normalizer per grupp och kombinera resultaten nedströms än att överbelasta en enda transformation. Om kravet går åt andra hållet, och många rader komprimeras till en, Aggregatortransformation är rätt verktyg istället.
