Aggregatortransformation i Informatica med exempel

⚡ Smart sammanfattning

Aggregatortransformation i Informatica är det aktiva objektet som utför beräkningar som summa, medelvärde och antal över en grupp rader, och håller dessa rader i en aggregerad cache tills varje grupp är komplett.

  • 🧮 Grupperad beräkning: Gruppering efter portar definierar grupperna, och integrationstjänsten returnerar en rad för varje unik kombination.
  • 💾 Två cacher: Gruppvärden lagras i indexcachen medan raddata lagras i datacachen.
  • 🧪 Utarbetat exempel: Uttrycket sum(SAL) grupperat efter DEPTNO laddar avdelningstotaler till SUM_SAL_DEPTWISE.
  • 🔀 Sorterad inmatning: Genom att försortera gruppen efter portar kan integrationstjänsten släppa varje grupp tidigt och cachelagra betydligt mindre data.
  • 📈 Stegvisa körningar: Stegvis aggregering återanvänder den historiska cachen så att endast nya källrader beräknas.
  • ???? Gräns ​​för kapsling: En enda transformation kan innehålla funktioner på en nivå eller kapslade funktioner, aldrig båda.

Aggregatortransformation i Informatica

Vad är Aggregator Transformation?

Aggregatortransformation är en aktiv transformation som utför aggregerade beräkningar som summa, medelvärde och antal.

Om du till exempel vill beräkna summan av lönerna för alla anställda per avdelning kan du använda Aggregator-transformationen.

De aggregerade operationerna utförs över en grupp rader, så en tillfällig platshållare krävs för att lagra alla dessa poster och utföra beräkningarna.

För detta används aggregatorcachen. Detta är ett tillfälligt huvudminne som allokerats till aggregatortransformationen för att utföra sådana operationer, och det består av två delar: indexcachen lagrar gruppvärdena medan datacachen lagrar raddata som aggregeras.

Transformationen är aktiv eftersom den ändrar antalet rader i pipelinen. Flera tusen medarbetarposter kan komma in i den och endast en rad per avdelning lämnar den.

Hur man använder aggregatortransformation i Informatica

I det här exemplet kommer vi att beräkna summan av löneavdelningen. För detta kräver vi en ny kolumn för att lagra denna summa. Så först och främst kommer vi att förbereda en ny kolumn.

Steg 1) Skapa en ny databasmåltabell, till exempel "sum_sal_deptwise", med hjälp av skriptet nedan. Du kommer att se den nya databasmåltabellen som skapats under Targets-mappen i nästa steg.

Ladda ner filen Create_table_sal_deptwise.txt ovan

Steg 2) Skapa en ny kartaping "m_sum_sal_deptwise".

För att skapa den nya kartanping, vi behöver källtabellen (EMP) och måltabellen (sum_sal_deptwise) i Mapping Designer, så vi behöver

  1. Importera måltabellen "sum_sal_deptwise" till kartanping.
  2. Importera källtabellen "emp".

Båda definitionerna visas nu på arbetsytan, som visas nedan.

Kartaping Designer med EMP-källan, SQ_EMP och det importerade SUM_SAL_DEPTWISE-målet

Steg 3) På kartanping,

  1. Från Källkval, ta bort kolumnerna anställningsnamn, enamn, jobb, chef, hiredato och meddelande, så att endast kolumnerna avd.nummer och sal lämnas kvar.
  2. Skapa en ny aggregeringstransformation med hjälp av verktygsmenyn som visas på skärmbilden. När du klickar på aggregeringsikonen skapas en ny aggregeringstransformation.

Det nya AGGTRANS-objektet visas bredvid den trimmade källkvalificeraren.

Aggregatorikon i verktygsfältet skapar AGGTRANS bredvid den trimmade SQ_EMP

Steg 4) Dra och släpp kolumnerna SAL och DEPTNO från källkvalificeraren (SQ_EMP) till aggregeringstransformationen. De två portarna är nu länkade till AGGTRANS.

SAL- och DEPTNO-portar dras från SQ_EMP till AGGTRANS Aggregator-transformationen

Steg 5) Double-klicka på Aggregator-transformationen för att öppna dess egenskaper och klicka sedan

  1. Lägg till en ny port i transformationen
  2. Byt namn på porten till SUM_SAL
  3. Ändra datatypen för denna nya port till dubbel
  4. Gör den här porten till en utgångsport genom att markera kryssrutan för utgångsporten.
  5. Klicka på uttrycksalternativet

Fliken Portar listar nu SAL, DEPTNO och den nya utgångsporten SUM_SAL.

Fliken Portar i AGGTRANS med den nya SUM_SAL-utgångsporten inställd på datatypen dubbel

Steg 6) I fönstret Uttrycksredigerare

  1. Addera uttrycket sum(SAL); du måste skriva uttrycket själv.
  2. Välj OK-knappen, detta kommer att visa fönstret Redigera transformationer.

Uttrycksredigeraren visar det aggregerade uttryck som är tilldelat SUM_SAL.

Uttrycksredigerare för SUM_SAL-porten som innehåller det aggregerade uttrycket sum(SAL)

Steg 7) I fönstret Redigera transformationer väljer du alternativet "Gruppera efter" genom att markera kryssrutan mot kolumnen avdelningsnr och klicka på OK. Genom att välja gruppera efter mot avdelningsnr instruerar vi Informatica att gruppera löner efter avdelningsnr.

Fliken Portar med kryssrutan Gruppera efter markerad mot porten DEPTNO

Steg 8) Länka kolumnerna deptno och sum_sal från Aggregator-transformationen till måltabellen. Kartanping är då komplett från källa till mål.

DEPTNO och SUM_SAL länkade från AGGTRANS till måldefinitionen SUM_SAL_DEPTWISE

Spara nu kartanping och kör den efter att ha skapat en ny session för den här kartanpingMåltabellen skulle innehålla summan av lönerna per avdelning. På så sätt kan vi använda aggregeringstransformationen för att beräkna aggregerade resultat.

Gruppera efter portar i aggregatortransformation

Steget ovan markerade en enskild port som Gruppera efter, vilket är det som omvandlade en företagsomfattande totalsumma till en totalsumma per avdelning. Alla input-, input/output-, output- eller variabla portar kan markeras på samma sätt.

Tre regler styr resultatuppsättningen:

  • En rad per grupp. När värden grupperas genererar integrationstjänsten en rad för varje unik kombination av gruppen efter portar.
  • Ingen gruppering efter, en rad. Om ingen port är markerad behandlas hela indata som en enda grupp och en rad returneras för alla indatarader.
  • Den sista raden vinner. Tillsammans med det aggregerade resultatet skickar integrationstjänsten vanligtvis den sista raden som mottagits i gruppen, såvida inte en funktion som FIRST namnger en annan rad.

Där flera hamnar är markerade avgör hamnordningen gruppenping ordning, och ordningen kan ändra resultatet. Gruppping av DEPTNO och då är JOB inte samma sak som groupping av JOBB och sedan AVD.NR, eftersom värdena i den andra kolumnen inte nödvändigtvis är unika.

Egenskaper för aggregeringstransformation

Fliken Egenskaper i fönstret Redigera transformationer innehåller inställningarna som avgör var cachen finns och hur mycket av den som används. Tabellen nedan listar dem.

Att lägga plattor Vad den kontrollerar
Cachekatalog Lokal katalog där integrationstjänsten skapar index- och datacachefiler. Standardvärdet är processvariabeln $PMCacheDir som anges i Workflow Manager.
Tracingnivå Mängd detaljer som skrivits till sessionsloggen för denna transformation.
Sorterad inmatning Anger att inkommande data redan är sorterad efter grupp efter portar. Välj det bara när kartanping levererar verkligen sorterad data.
Storlek på aggregeringsdatacache Storleken på datacachen. Standardvärdet är 2 000 000 byte, och Auto låter integrationstjänsten ange storleken.
Storlek på aggregatorindexcache Storleken på indexcachen. Standardvärdet är 1 000 000 byte, och Auto låter integrationstjänsten ange storleken.
Transformationsomfattning Tillämpar logiken på varje transaktion, eller på all inkommande data. All inmatning tar bort gränserna för inkommande transaktioner.

När stegvis aggregering är aktiverat skriver integrationstjänsten en säkerhetskopia av cachefilerna vid varje körning, så cachekatalogen måste innehålla två uppsättningar filer istället för en.

Regler för aggregerade uttryck och prestandatips

Ett aggregerat uttryck kan kombinera en aggregerad funktion med villkorliga klausuler och icke-aggregerade funktioner, vilket möjliggör villkorliga summor och antal inom en port. Två regler begränsar vad som kan skrivas.

  • En nivå av nestning. Endast en aggregerad funktion kan kapslas inuti en annan, och det inre uttrycket utvärderas först.
  • Ingen blandning. En transformation kan innehålla funktioner på en nivå eller kapslade funktioner, aldrig båda. Om den innehåller båda markerar designern kartanping ogiltig, så dela upp logiken över två Aggregator-transformationer.

På finjusteringssidan gör tre inställningar det mesta av jobbet:

  • Sorterad inmatning. När rader anländer sorterade efter grupp och portar kan varje grupp släppas så snart den sista raden anländer, vilket innebär att betydligt mindre data cachas och sessionen körs snabbare. Sorterad inmatning kan inte kombineras med stegvis aggregering.
  • Stegvis aggregering. Nya källrader skickas genom kartanping och kombineras med den historiska cachen istället för att omräkna historiken, vilket passar en nattlig belastning på en löpande totalsumma.
  • Filtrera tidigt. Rader som aldrig kommer att bidra till en totalsumma bör tas bort före aggregatorn, antingen i källkvalificeringsfrågan eller i en Filtertransformation, eftersom varje rad som når aggregatorn kostar cacheminne. Detta är en av standardkontrollerna under prestandajustering.

Vanliga frågor

Den sammanlagda familjen omfattar AVG, ANTAL, FÖRNAMN, EFTERNAMN, MAX, MEDIAN, MIN, PERCENTILE, STDDEV, SUMMA och VARIANS. Varje värde returnerar ett sammanfattningsvärde för de värden som inte är null i den valda porten.

Hela indata behandlas som en grupp, så en enda rad returneras för alla indatarader. Den raden innehåller det aggregerade resultatet tillsammans med den sista raden som transformationen tog emot.

Indexcachen innehåller gruppvärdena, det vill säga värdena för portarna markerade med Gruppera efter. Datacachen innehåller raddata som används i beräkningen. Överflöde från båda skrivs till cachefiler.

Den skickar endast nya källdata genom kartanping och kombinerar den med den historiska cachen från tidigare körningar, så att summorna uppdateras istället för att byggas om. Den kan inte kombineras med det sorterade inmatningsalternativet.

Som standard behandlar integrationstjänsten nullvärden som NULL och hoppar över dem, så en summa ignorerar tomma löner. Tjänsten kan istället konfigureras att behandla nullvärden i aggregerade funktioner som noll.

Till katalogen som namnges av inställningen för cachekatalogen, vilken som standard är processvariabeln $PMCacheDir som konfigurerats i Workflow Manager. Se till att katalogen finns och har tillräckligt med ledigt diskutrymme.

AI-assistenter profilerar källdata och arbetsbelastningshistorik för att föreslå var en totalsumma hör hemma, vilken gruppping nycklar spelar roll och var en beräkning är billigare i databasen. Maskininlärningsbaserade rådgivare rangordnar alternativen, och en ingenjör godkänner dem.

Copilot utarbetar snabbt uttryck och den omgivande SQL-filen, vilket sparar tid på repetitivt portarbete. Den kan inte se dina cachestorlekar eller portordning, så validera alla förslag i uttrycksredigeraren innan du sparar.

Sammanfatta detta inlägg med: