Örnekle Informatica'da Toplayıcı Dönüşümü
⚡ Akıllı Özet
Informatica'daki Aggregator dönüşümü, bir grup satır üzerinde toplama, ortalama alma ve sayma gibi hesaplamaları gerçekleştiren ve her grup tamamlanana kadar bu satırları bir toplama önbelleğinde tutan aktif nesnedir.
Toplayıcı Dönüşümü Nedir?
Toplayıcı dönüşüm, toplam, ortalama ve sayım gibi toplama hesaplamaları gerçekleştiren aktif bir dönüşümdür.
Örneğin, tüm çalışanların maaşlarının departman bazında toplamını hesaplamak istiyorsanız, Toplayıcı (Aggregator) dönüşümünü kullanabilirsiniz.
Toplu işlemler bir grup satır üzerinde gerçekleştirilir, dolayısıyla tüm bu kayıtları depolamak ve hesaplamaları gerçekleştirmek için geçici bir yer tutucu gerekir.
Bunun için toplayıcı önbelleği kullanılır. Bu, söz konusu işlemleri gerçekleştirmek için Toplayıcı dönüşümüne ayrılan geçici ana bellektir ve iki bölümden oluşur: indeks önbelleği grup değerlerini saklarken, veri önbelleği toplanan satır verilerini saklar.
Dönüşüm, işlem hattındaki satır sayısını değiştirdiği için aktiftir. Birkaç bin çalışan kaydı bu işleme girebilir ve her departmandan yalnızca bir satır çıkabilir.
Informatica'da Toplayıcı Dönüşümü Nasıl Kullanılır?
Bu örnekte, departman bazında maaşların toplamını hesaplayacağız. Bunun için, bu toplamı saklamak için yeni bir sütuna ihtiyacımız var. Bu yüzden, her şeyden önce, yeni bir sütun hazırlayacağız.
) 1 Adım Aşağıdaki betiği kullanarak, örneğin "sum_sal_deptwise" adında yeni bir veritabanı hedef tablosu oluşturun. Oluşturulan yeni veritabanı hedef tablosunu aşağıdaki bölümde göreceksiniz. TargetSonraki adımda s klasörüne geçin.
Yukarıdaki Create_table_sal_deptwise.txt Dosyasını İndirin
) 2 Adım Yeni bir tane oluştur haritaping “m_sum_sal_deptwise”.
Yeni haritayı oluşturmak içinpingMap'te kaynak tablo (EMP) ve hedef tablo (sum_sal_deptwise)'a ihtiyacımız var.ping Tasarımcı, bu yüzden ihtiyacımız var.
- Haritaya "sum_sal_deptwise" hedef tablosunu içe aktarın.ping.
- “emp” kaynak tablosunu içe aktarın.
Aşağıda gösterildiği gibi, her iki tanım da artık tuval üzerinde görünmektedir.
) 3 Adım Haritadaping,
- itibaren Kaynak Niteleyiciempno, ename, job, mgr, hiredate ve comm sütunlarını silin, yalnızca deptno ve sal sütunlarını bırakın.
- Ekran görüntüsünde gösterildiği gibi araç kutusu menüsünü kullanarak yeni bir Toplayıcı dönüşümü oluşturun. Toplayıcı simgesine tıkladığınızda yeni bir Toplayıcı dönüşümü oluşturulacaktır.
Yeni AGGTRANS nesnesi, kırpılmış Kaynak Niteleyicisinin yanında görünür.
) 4 Adım Kaynak Nitelikleyici (SQ_EMP) bölümünden SAL ve DEPTNO sütunlarını Toplayıcı dönüşümüne sürükleyip bırakın. İki port artık AGGTRANS'a bağlanmıştır.
) 5 Adım Double-Aggregator dönüşümüne tıklayarak özelliklerini açın ve ardından
- Dönüşüme yeni bir bağlantı noktası ekleme
- Bağlantı noktasının adını SUM_SAL olarak değiştirin.
- Bu yeni portun veri türünü double olarak değiştirin
- Çıkış portunun onay kutusunu seçerek bu portu çıkış portu yapın.
- İfade seçeneğine tıklayın
Bağlantı Noktaları sekmesinde artık SAL, DEPTNO ve yeni SUM_SAL çıkış bağlantı noktası listeleniyor.
) 6 Adım İfade Düzenleyici penceresinde
- sum(SAL) ifadesini ekleyin; bu ifadeyi kendiniz yazmanız gerekiyor.
- Tamam düğmesini seçin, bu işlem Düzenleme Dönüşümleri penceresini geri getirecektir.
İfade Düzenleyici, SUM_SAL'e atanmış toplama ifadesini gösterir.
) 7 Adım Dönüşümleri Düzenle penceresinde, deptno sütunundaki onay kutusunu işaretleyerek "Gruplandır" seçeneğini seçin ve Tamam'ı tıklayın. deptno'ya göre gruplandırmayı seçerek, Informatica'ya maaşları deptno'ya göre gruplandırmasını söylüyoruz.
) 8 Adım Aggregator dönüşümündeki deptno ve sum_sal sütunlarını hedef tabloya bağlayın. Haritalama işlemi şu şekilde yapılır:ping Böylece kaynaktan hedefe kadar işlem tamamlanmış olur.
Şimdi haritayı kaydedin.ping ve yeni bir tane oluşturduktan sonra çalıştırın. Oturum bu harita içinpingHedef tablo, departmanlara göre maaşların toplamını içerecektir. Bu şekilde, toplu sonuçları hesaplamak için Toplayıcı dönüşümünü kullanabiliriz.
Toplayıcı Dönüşümünde Limanlara Göre Gruplandırma
Yukarıdaki adımda tek bir port "Gruplandırma Ölçütü" olarak işaretlendi; bu da şirket genelindeki toplamı departman başına tek bir toplama dönüştürdü. Herhangi bir giriş, giriş/çıkış, çıkış veya değişken port aynı şekilde işaretlenebilir.
Sonuç kümesini üç kural yönetir:
- Grup başına bir sıra. Değerler gruplandırıldığında, Entegrasyon Servisi, gruplandırılmış portların her benzersiz kombinasyonu için bir satır oluşturur.
- Gruplandırma yok, tek satır. Eğer hiçbir port işaretlenmemişse, tüm giriş tek bir grup olarak ele alınır ve tüm giriş satırları için tek bir satır döndürülür.
- Son sıra kazanır. Entegrasyon Servisi, toplu sonuçla birlikte genellikle grupta alınan son satırı da iletir; ancak FIRST gibi bir fonksiyon farklı bir satırı belirtirse durum değişebilir.
Birden fazla limanın işaretlendiği durumlarda, liman sırası gruplandırmayı belirler.ping Sıralama önemlidir ve sıralama sonucu değiştirebilir. Grupping DEPTNO ve ardından JOB, grupla aynı şey değildir.ping Önce JOB, sonra DEPTNO'ya göre sıralama yapılır, çünkü ikinci sütundaki değerler her zaman benzersiz olmayabilir.
Toplayıcı Dönüşüm Özellikleri
Dönüştürmeleri Düzenle penceresinin Özellikler sekmesi, önbelleğin nerede saklanacağına ve ne kadarının kullanılacağına karar veren ayarları içerir. Aşağıdaki tabloda bunlar listelenmiştir.
| ayar | Ne kontrol ediyor? |
|---|---|
| Önbellek Dizini | Entegrasyon Servisi'nin dizin ve veri önbellek dosyalarını oluşturduğu yerel dizin. Varsayılan değer, İş Akışı Yöneticisi'nde ayarlanan $PMCacheDir işlem değişkenidir. |
| TracSeviye | Bu dönüşüm için oturum günlüğüne yazılan detay miktarı. |
| Sıralı Giriş | Gelen verilerin portlara göre gruplandırılarak zaten sıralanmış olduğunu belirtir. Yalnızca harita seçildiğinde bu seçeneği işaretleyin.ping Gerçekten de sıralanmış veriler sunuyor. |
| Toplayıcı Veri Önbelleği Boyutu | Veri önbelleğinin boyutu. Varsayılan değer 2,000,000 bayttır ve Otomatik seçeneği, Entegrasyon Servisinin bu boyutu belirlemesine olanak tanır. |
| Toplayıcı Dizin Önbellek Boyutu | Dizin önbelleğinin boyutu. Varsayılan değer 1,000,000 bayttır ve Otomatik seçeneği, Entegrasyon Servisinin bu boyutu belirlemesine izin verir. |
| Dönüşüm Kapsamı | Mantığı her işleme veya gelen tüm verilere uygular. Tüm Girişler, gelen işlem sınırlarını ortadan kaldırır. |
Artımlı toplama etkinleştirildiğinde, Entegrasyon Servisi her çalıştırmada önbellek dosyalarının bir yedeğini yazar, bu nedenle önbellek dizininde tek bir dosya seti yerine iki dosya seti bulunması gerekir.
Toplu İfade Kuralları ve Performans İpuçları
Bir toplama ifadesi, toplama işlevini koşullu maddeler ve toplama işlevi olmayan işlevlerle birleştirebilir; bu da tek bir port içinde koşullu toplamları ve sayımları mümkün kılar. Ne yazılabileceğini kısıtlayan iki kural vardır.
- Bir katmanlı iç içe geçme. Birbirinin içine yalnızca bir toplama fonksiyonu yerleştirilebilir ve içteki ifade önce değerlendirilir.
- Karıştırma yok. Bir dönüşüm tek seviyeli fonksiyonlar veya iç içe fonksiyonlar içerebilir, asla ikisini birden içermez. Eğer ikisini birden içeriyorsa, Tasarımcı haritayı işaretler.ping Geçersiz olduğundan, mantığı iki ayrı Toplayıcı dönüşümüne böldük.
Ayarlar tarafında ise üç ayar işin büyük kısmını hallediyor:
- Sıralı giriş. Veriler portlara göre gruplandırılmış şekilde sıralandığında, her grubun son satırı gelir gelmez serbest bırakılabilir; bu sayede çok daha az veri önbelleğe alınır ve oturum daha hızlı çalışır. Sıralı girdi, artımlı toplama ile birleştirilemez.
- Artımlı toplama. Yeni kaynak satırları harita üzerinden geçirilir.ping ve geçmiş verilerin yeniden hesaplanması yerine geçmiş verilerle birleştirilir; bu da çalışan toplam üzerine gecelik yükleme için uygundur.
- Filtrelemeyi erken yapın. Toplama hiçbir zaman katkıda bulunmayacak satırlar, Toplayıcıdan önce, Kaynak Niteleyici sorgusunda veya başka bir yöntemle silinmelidir. Filtre dönüşümüÇünkü Toplayıcıya ulaşan her satır önbellek belleği tüketir. Bu, standart kontrollerden biridir. performans ayarı.








