Örnekle Informatica'da Toplayıcı Dönüşümü

⚡ Akıllı Özet

Informatica'daki Aggregator dönüşümü, bir grup satır üzerinde toplama, ortalama alma ve sayma gibi hesaplamaları gerçekleştiren ve her grup tamamlanana kadar bu satırları bir toplama önbelleğinde tutan aktif nesnedir.

  • 🧮 Gruplandırılmış hesaplama: Gruplandırma işlemi, portlara göre grupları tanımlar ve Entegrasyon Servisi, her benzersiz kombinasyon için bir satır döndürür.
  • 💾 İki gizli depo: Grup değerleri indeks önbelleğinde, satır verileri ise veri önbelleğinde saklanır.
  • 🧪 Çalışılmış örnek: DEPTNO'ya göre gruplandırılmış sum(SAL) ifadesi, departman toplamlarını SUM_SAL_DEPTWISE'a yükler.
  • 🔀 Sıralı giriş: Grupları portlara göre önceden sıralamak, Entegrasyon Servisinin her grubu erken serbest bırakmasını ve çok daha az veriyi önbelleğe almasını sağlar.
  • 📈 Artımlı çalıştırmalar: Artımlı toplama, geçmiş önbelleği yeniden kullanır, bu nedenle yalnızca yeni kaynak satırları hesaplanır.
  • ???? İç içe geçme sınırı: Tek bir dönüşüm, tek seviyeli fonksiyonlar veya iç içe fonksiyonlar içerebilir, asla ikisini birden içeremez.

Informatica'da Toplayıcı Dönüşümü

Toplayıcı Dönüşümü Nedir?

Toplayıcı dönüşüm, toplam, ortalama ve sayım gibi toplama hesaplamaları gerçekleştiren aktif bir dönüşümdür.

Örneğin, tüm çalışanların maaşlarının departman bazında toplamını hesaplamak istiyorsanız, Toplayıcı (Aggregator) dönüşümünü kullanabilirsiniz.

Toplu işlemler bir grup satır üzerinde gerçekleştirilir, dolayısıyla tüm bu kayıtları depolamak ve hesaplamaları gerçekleştirmek için geçici bir yer tutucu gerekir.

Bunun için toplayıcı önbelleği kullanılır. Bu, söz konusu işlemleri gerçekleştirmek için Toplayıcı dönüşümüne ayrılan geçici ana bellektir ve iki bölümden oluşur: indeks önbelleği grup değerlerini saklarken, veri önbelleği toplanan satır verilerini saklar.

Dönüşüm, işlem hattındaki satır sayısını değiştirdiği için aktiftir. Birkaç bin çalışan kaydı bu işleme girebilir ve her departmandan yalnızca bir satır çıkabilir.

Informatica'da Toplayıcı Dönüşümü Nasıl Kullanılır?

Bu örnekte, departman bazında maaşların toplamını hesaplayacağız. Bunun için, bu toplamı saklamak için yeni bir sütuna ihtiyacımız var. Bu yüzden, her şeyden önce, yeni bir sütun hazırlayacağız.

) 1 Adım Aşağıdaki betiği kullanarak, örneğin "sum_sal_deptwise" adında yeni bir veritabanı hedef tablosu oluşturun. Oluşturulan yeni veritabanı hedef tablosunu aşağıdaki bölümde göreceksiniz. TargetSonraki adımda s klasörüne geçin.

Yukarıdaki Create_table_sal_deptwise.txt Dosyasını İndirin

) 2 Adım Yeni bir tane oluştur haritaping “m_sum_sal_deptwise”.

Yeni haritayı oluşturmak içinpingMap'te kaynak tablo (EMP) ve hedef tablo (sum_sal_deptwise)'a ihtiyacımız var.ping Tasarımcı, bu yüzden ihtiyacımız var.

  1. Haritaya "sum_sal_deptwise" hedef tablosunu içe aktarın.ping.
  2. “emp” kaynak tablosunu içe aktarın.

Aşağıda gösterildiği gibi, her iki tanım da artık tuval üzerinde görünmektedir.

Haritaping EMP kaynağı, SQ_EMP ve içe aktarılan SUM_SAL_DEPTWISE hedefi ile tasarımcı

) 3 Adım Haritadaping,

  1. itibaren Kaynak Niteleyiciempno, ename, job, mgr, hiredate ve comm sütunlarını silin, yalnızca deptno ve sal sütunlarını bırakın.
  2. Ekran görüntüsünde gösterildiği gibi araç kutusu menüsünü kullanarak yeni bir Toplayıcı dönüşümü oluşturun. Toplayıcı simgesine tıkladığınızda yeni bir Toplayıcı dönüşümü oluşturulacaktır.

Yeni AGGTRANS nesnesi, kırpılmış Kaynak Niteleyicisinin yanında görünür.

Araç çubuğundaki Toplayıcı simgesi, kırpılmış SQ_EMP'nin yanında AGGTRANS oluşturuyor.

) 4 Adım Kaynak Nitelikleyici (SQ_EMP) bölümünden SAL ve DEPTNO sütunlarını Toplayıcı dönüşümüne sürükleyip bırakın. İki port artık AGGTRANS'a bağlanmıştır.

SAL ve DEPTNO portları SQ_EMP'den AGGTRANS Toplayıcı dönüşümüne sürüklendi.

) 5 Adım Double-Aggregator dönüşümüne tıklayarak özelliklerini açın ve ardından

  1. Dönüşüme yeni bir bağlantı noktası ekleme
  2. Bağlantı noktasının adını SUM_SAL olarak değiştirin.
  3. Bu yeni portun veri türünü double olarak değiştirin
  4. Çıkış portunun onay kutusunu seçerek bu portu çıkış portu yapın.
  5. İfade seçeneğine tıklayın

Bağlantı Noktaları sekmesinde artık SAL, DEPTNO ve yeni SUM_SAL çıkış bağlantı noktası listeleniyor.

AGGTRANS'ın Portlar sekmesinde, yeni SUM_SAL çıkış portu çift veri türüne ayarlanmıştır.

) 6 Adım İfade Düzenleyici penceresinde

  1. sum(SAL) ifadesini ekleyin; bu ifadeyi kendiniz yazmanız gerekiyor.
  2. Tamam düğmesini seçin, bu işlem Düzenleme Dönüşümleri penceresini geri getirecektir.

İfade Düzenleyici, SUM_SAL'e atanmış toplama ifadesini gösterir.

SUM(SAL) toplama ifadesini içeren SUM_SAL portu için İfade Düzenleyici

) 7 Adım Dönüşümleri Düzenle penceresinde, deptno sütunundaki onay kutusunu işaretleyerek "Gruplandır" seçeneğini seçin ve Tamam'ı tıklayın. deptno'ya göre gruplandırmayı seçerek, Informatica'ya maaşları deptno'ya göre gruplandırmasını söylüyoruz.

Bağlantı Noktaları sekmesinde, DEPTNO bağlantı noktasının karşısındaki Gruplandırma onay kutusu seçili durumda.

) 8 Adım Aggregator dönüşümündeki deptno ve sum_sal sütunlarını hedef tabloya bağlayın. Haritalama işlemi şu şekilde yapılır:ping Böylece kaynaktan hedefe kadar işlem tamamlanmış olur.

AGGTRANS'tan SUM_SAL_DEPTWISE hedef tanımına bağlanan DEPTNO ve SUM_SAL

Şimdi haritayı kaydedin.ping ve yeni bir tane oluşturduktan sonra çalıştırın. Oturum bu harita içinpingHedef tablo, departmanlara göre maaşların toplamını içerecektir. Bu şekilde, toplu sonuçları hesaplamak için Toplayıcı dönüşümünü kullanabiliriz.

Toplayıcı Dönüşümünde Limanlara Göre Gruplandırma

Yukarıdaki adımda tek bir port "Gruplandırma Ölçütü" olarak işaretlendi; bu da şirket genelindeki toplamı departman başına tek bir toplama dönüştürdü. Herhangi bir giriş, giriş/çıkış, çıkış veya değişken port aynı şekilde işaretlenebilir.

Sonuç kümesini üç kural yönetir:

  • Grup başına bir sıra. Değerler gruplandırıldığında, Entegrasyon Servisi, gruplandırılmış portların her benzersiz kombinasyonu için bir satır oluşturur.
  • Gruplandırma yok, tek satır. Eğer hiçbir port işaretlenmemişse, tüm giriş tek bir grup olarak ele alınır ve tüm giriş satırları için tek bir satır döndürülür.
  • Son sıra kazanır. Entegrasyon Servisi, toplu sonuçla birlikte genellikle grupta alınan son satırı da iletir; ancak FIRST gibi bir fonksiyon farklı bir satırı belirtirse durum değişebilir.

Birden fazla limanın işaretlendiği durumlarda, liman sırası gruplandırmayı belirler.ping Sıralama önemlidir ve sıralama sonucu değiştirebilir. Grupping DEPTNO ve ardından JOB, grupla aynı şey değildir.ping Önce JOB, sonra DEPTNO'ya göre sıralama yapılır, çünkü ikinci sütundaki değerler her zaman benzersiz olmayabilir.

Toplayıcı Dönüşüm Özellikleri

Dönüştürmeleri Düzenle penceresinin Özellikler sekmesi, önbelleğin nerede saklanacağına ve ne kadarının kullanılacağına karar veren ayarları içerir. Aşağıdaki tabloda bunlar listelenmiştir.

ayar Ne kontrol ediyor?
Önbellek Dizini Entegrasyon Servisi'nin dizin ve veri önbellek dosyalarını oluşturduğu yerel dizin. Varsayılan değer, İş Akışı Yöneticisi'nde ayarlanan $PMCacheDir işlem değişkenidir.
TracSeviye Bu dönüşüm için oturum günlüğüne yazılan detay miktarı.
Sıralı Giriş Gelen verilerin portlara göre gruplandırılarak zaten sıralanmış olduğunu belirtir. Yalnızca harita seçildiğinde bu seçeneği işaretleyin.ping Gerçekten de sıralanmış veriler sunuyor.
Toplayıcı Veri Önbelleği Boyutu Veri önbelleğinin boyutu. Varsayılan değer 2,000,000 bayttır ve Otomatik seçeneği, Entegrasyon Servisinin bu boyutu belirlemesine olanak tanır.
Toplayıcı Dizin Önbellek Boyutu Dizin önbelleğinin boyutu. Varsayılan değer 1,000,000 bayttır ve Otomatik seçeneği, Entegrasyon Servisinin bu boyutu belirlemesine izin verir.
Dönüşüm Kapsamı Mantığı her işleme veya gelen tüm verilere uygular. Tüm Girişler, gelen işlem sınırlarını ortadan kaldırır.

Artımlı toplama etkinleştirildiğinde, Entegrasyon Servisi her çalıştırmada önbellek dosyalarının bir yedeğini yazar, bu nedenle önbellek dizininde tek bir dosya seti yerine iki dosya seti bulunması gerekir.

Toplu İfade Kuralları ve Performans İpuçları

Bir toplama ifadesi, toplama işlevini koşullu maddeler ve toplama işlevi olmayan işlevlerle birleştirebilir; bu da tek bir port içinde koşullu toplamları ve sayımları mümkün kılar. Ne yazılabileceğini kısıtlayan iki kural vardır.

  • Bir katmanlı iç içe geçme. Birbirinin içine yalnızca bir toplama fonksiyonu yerleştirilebilir ve içteki ifade önce değerlendirilir.
  • Karıştırma yok. Bir dönüşüm tek seviyeli fonksiyonlar veya iç içe fonksiyonlar içerebilir, asla ikisini birden içermez. Eğer ikisini birden içeriyorsa, Tasarımcı haritayı işaretler.ping Geçersiz olduğundan, mantığı iki ayrı Toplayıcı dönüşümüne böldük.

Ayarlar tarafında ise üç ayar işin büyük kısmını hallediyor:

  • Sıralı giriş. Veriler portlara göre gruplandırılmış şekilde sıralandığında, her grubun son satırı gelir gelmez serbest bırakılabilir; bu sayede çok daha az veri önbelleğe alınır ve oturum daha hızlı çalışır. Sıralı girdi, artımlı toplama ile birleştirilemez.
  • Artımlı toplama. Yeni kaynak satırları harita üzerinden geçirilir.ping ve geçmiş verilerin yeniden hesaplanması yerine geçmiş verilerle birleştirilir; bu da çalışan toplam üzerine gecelik yükleme için uygundur.
  • Filtrelemeyi erken yapın. Toplama hiçbir zaman katkıda bulunmayacak satırlar, Toplayıcıdan önce, Kaynak Niteleyici sorgusunda veya başka bir yöntemle silinmelidir. Filtre dönüşümüÇünkü Toplayıcıya ulaşan her satır önbellek belleği tüketir. Bu, standart kontrollerden biridir. performans ayarı.

SSS

Ailenin tamamını kapsayan ifade AVGCOUNT, FIRST, LAST, MAX, MEDIAN, MIN, PERCENTILE, STDDEV, SUM ve VARIANCE. Her biri, seçilen porttaki boş olmayan değerler için özet bir değer döndürür.

Tüm girdi tek bir grup olarak ele alınır, bu nedenle tüm girdi satırları için tek bir satır döndürülür. Bu satır, toplam sonucu ve dönüşümün aldığı son satırı içerir.

Dizin önbelleği, grup değerlerini, yani "Gruplandırma Ölçütü" ile işaretlenmiş portların değerlerini tutar. Veri önbelleği ise hesaplamada kullanılan satır verilerini tutar. Her ikisinden de taşan veriler önbellek dosyalarına yazılır.

Harita üzerinden yalnızca yeni kaynak verilerini geçirir.ping ve bunu önceki çalıştırmalardan gelen geçmiş verilerle birleştirir, böylece toplamlar yeniden oluşturulmak yerine güncellenir. Sıralı giriş seçeneğiyle birleştirilemez.

Varsayılan olarak, Entegrasyon Servisi boş değerleri NULL olarak kabul eder ve atlar, bu nedenle toplama işlemi boş maaşları dikkate almaz. Servis bunun yerine, toplama fonksiyonlarındaki boş değerleri sıfır olarak kabul edecek şekilde yapılandırılabilir.

Önbellek Dizini ayarıyla belirtilen dizine gidin; bu varsayılan değer, İş Akışı Yöneticisi'nde yapılandırılan `$PMCacheDir` işlem değişkenidir. Dizinin mevcut olduğundan ve yeterli boş disk alanına sahip olduğundan emin olun.

Yapay zekâ asistanları, toplam tutarın nereye ait olduğunu, hangi gruba ait olduğunu önermek için kaynak verileri ve iş yükü geçmişini profillendirir.ping Anahtar değerler önemlidir ve veritabanında hesaplamanın daha ucuz olduğu yer burasıdır. Makine öğrenimine dayalı danışmanlar seçenekleri sıralar ve bir mühendis bunları onaylar.

Copilot, ifadeleri ve çevreleyen SQL kodlarını hızlı bir şekilde taslak haline getirerek tekrarlayan port işlemlerinde zamandan tasarruf sağlar. Önbellek boyutlarınızı veya port sırasını göremediği için, kaydetmeden önce İfade Düzenleyicisindeki her öneriyi doğrulayın.

Bu yazıyı şu şekilde özetleyin: