Transformasi Agregator di Informatica dengan Contoh

⚡ Ringkasan Cerdas

Transformasi agregator di Informatica adalah objek aktif yang melakukan perhitungan seperti penjumlahan, rata-rata, dan penghitungan di seluruh kelompok baris, menyimpan baris-baris tersebut dalam cache agregat hingga setiap kelompok selesai.

  • 🧮 Perhitungan berkelompok: Pengelompokan berdasarkan port menentukan grup, dan Layanan Integrasi mengembalikan satu baris untuk setiap kombinasi unik.
  • 💾 Dua tempat penyimpanan (cache): Nilai grup disimpan dalam cache indeks sedangkan data baris disimpan dalam cache data.
  • 🧪 Contoh yang dikerjakan: Ekspresi sum(SAL) yang dikelompokkan berdasarkan DEPTNO memuat total departemen ke dalam SUM_SAL_DEPTWISE.
  • 🔀 Input yang diurutkan: Pengurutan awal pada grup berdasarkan port memungkinkan Layanan Integrasi untuk melepaskan setiap grup lebih awal dan menyimpan data dalam cache jauh lebih sedikit.
  • 📈 Eksekusi bertahap: Agregasi inkremental menggunakan kembali cache historis sehingga hanya baris sumber baru yang dihitung.
  • 🚫 Batas bersarang: Suatu transformasi tunggal dapat memuat fungsi tingkat tunggal atau fungsi bersarang, tidak pernah keduanya.

Transformasi Agregator di Informatica

Apa itu Transformasi Agregator?

Transformasi agregator adalah transformasi aktif yang melakukan perhitungan agregat seperti penjumlahan, rata-rata, dan penghitungan.

Sebagai contoh, jika Anda ingin menghitung jumlah gaji seluruh karyawan berdasarkan departemen, Anda dapat menggunakan transformasi Aggregator.

Operasi agregat dilakukan pada sekelompok baris, sehingga diperlukan placeholder sementara untuk menyimpan semua rekaman ini dan melakukan penghitungan.

Untuk tujuan ini, cache agregator digunakan. Ini adalah memori utama sementara yang dialokasikan untuk transformasi Agregator untuk melakukan operasi tersebut, dan terbagi menjadi dua bagian: cache indeks menyimpan nilai grup sedangkan cache data menyimpan data baris yang sedang diagregasi.

Transformasi ini aktif karena mengubah jumlah baris dalam pipeline. Beberapa ribu data karyawan dapat masuk ke dalamnya dan hanya satu baris per departemen yang keluar darinya.

Cara Menggunakan Transformasi Aggregator di Informatica

Dalam contoh ini, kita akan menghitung jumlah gaji per departemen. Untuk itu, kita perlu membuat kolom baru untuk menyimpan jumlah ini. Jadi, pertama-tama, kita akan menyiapkan kolom baru.

Langkah 1) Buat tabel target basis data baru, misalnya, katakanlah “sum_sal_deptwise”, menggunakan skrip di bawah ini. Anda akan melihat tabel target basis data baru yang dibuat di bawah Targetfolder s pada langkah selanjutnya.

Unduh File Create_table_sal_deptwise.txt di atas

Langkah 2) Buat yang baru petaping “m_sum_sal_deptwise”.

Untuk membuat peta barupingKita memerlukan tabel sumber (EMP) dan tabel target (sum_sal_deptwise) dalam Map.ping Desainer, jadi kita perlu

  1. Impor tabel target “sum_sal_deptwise” ke dalam peta.ping.
  2. Impor tabel sumber “emp”.

Kedua definisi tersebut kini muncul di kanvas, seperti yang ditunjukkan di bawah ini.

Lokasiping Perancang dengan sumber EMP, SQ_EMP dan target SUM_SAL_DEPTWISE yang diimpor

Langkah 3) Di petaping,

  1. Dari Kualifikasi SumberHapus kolom empno, ename, job, mgr, hiredate, dan comm, sisakan hanya kolom deptno dan sal.
  2. Buat transformasi Aggregator baru menggunakan menu toolbox seperti yang ditunjukkan pada tangkapan layar. Saat Anda mengklik ikon aggregator, transformasi Aggregator baru akan dibuat.

Objek AGGTRANS yang baru muncul di samping Source Qualifier yang telah dipangkas.

Ikon agregator pada toolbar yang membuat AGGTRANS di sebelah SQ_EMP yang telah dipangkas.

Langkah 4) Seret dan lepas kolom SAL dan DEPTNO dari Source Qualifier (SQ_EMP) ke transformasi Aggregator. Kedua port tersebut sekarang terhubung ke AGGTRANS.

Port SAL dan DEPTNO yang diambil dari SQ_EMP dimasukkan ke dalam transformasi Aggregator AGGTRANS.

Langkah 5) Double-klik transformasi Aggregator untuk membuka propertinya, lalu

  1. Tambahkan port baru dalam transformasi
  2. Ganti nama port menjadi SUM_SAL
  3. Ubah tipe data port baru ini menjadi ganda
  4. Jadikan port ini sebagai port output dengan memilih kotak centang port output.
  5. Klik opsi ekspresi

Tab Port sekarang menampilkan SAL, DEPTNO, dan port output SUM_SAL yang baru.

Tab Ports pada AGGTRANS dengan port output SUM_SAL baru yang diatur ke tipe data double.

Langkah 6) Di jendela Editor Ekspresi

  1. Tambahkan ekspresi sum(SAL); Anda harus menulis ekspresi ini sendiri.
  2. Pilih tombol OK, ini akan menampilkan kembali jendela Edit Transformasi.

Editor Ekspresi menampilkan ekspresi agregat yang ditetapkan ke SUM_SAL.

Editor Ekspresi untuk port SUM_SAL yang menyimpan ekspresi agregat sum(SAL)

Langkah 7) Di jendela Edit Transformations, pilih opsi “GroupBy” dengan memberi tanda centang pada kotak di samping kolom deptno dan klik OK. Dengan memilih group by pada deptno, kita menginstruksikan Informatica untuk mengelompokkan gaji berdasarkan deptno.

Tab Port dengan kotak centang GroupBy dipilih pada port DEPTNO.

Langkah 8) Hubungkan kolom deptno dan sum_sal dari transformasi Aggregator ke tabel target. Pemetaan tersebutping Kemudian, proses dari sumber ke target menjadi lengkap.

DEPTNO dan SUM_SAL dihubungkan dari AGGTRANS ke definisi target SUM_SAL_DEPTWISE.

Sekarang simpan petanyaping dan jalankan setelah membuat yang baru Sidang untuk peta inipingTabel target akan berisi jumlah gaji per departemen. Dengan cara ini, kita dapat menggunakan transformasi Aggregator untuk menghitung hasil agregat.

Pengelompokan Berdasarkan Port dalam Transformasi Agregator

Langkah di atas menandai satu port sebagai Group By, yang mengubah total seluruh perusahaan menjadi satu total per departemen. Setiap port input, input/output, output, atau variabel dapat ditandai dengan cara yang sama.

Tiga aturan mengatur hasil yang diperoleh:

  • Satu baris per kelompok. Saat nilai dikelompokkan, Layanan Integrasi menghasilkan satu baris untuk setiap kombinasi unik dari port yang dikelompokkan.
  • Tidak ada pengelompokan, satu baris. Jika tidak ada port yang ditandai, seluruh input diperlakukan sebagai satu grup tunggal dan satu baris dikembalikan untuk semua baris input.
  • Baris terakhir yang menang. Bersamaan dengan hasil agregat, Layanan Integrasi biasanya meneruskan baris terakhir yang diterima dalam grup, kecuali jika fungsi seperti FIRST menyebutkan baris yang berbeda.

Jika terdapat beberapa pelabuhan yang ditandai, urutan pelabuhan menentukan grup tersebut.ping urutan, dan urutan tersebut dapat mengubah hasilnya. Grupping oleh DEPTNO dan kemudian JOB tidak sama dengan grupping dengan menggunakan JOB dan kemudian DEPTNO, karena nilai kolom kedua belum tentu unik.

Properti Transformasi Agregator

Tab Properti pada jendela Edit Transformasi berisi pengaturan yang menentukan di mana cache disimpan dan seberapa banyak yang digunakan. Tabel di bawah ini mencantumkan pengaturan tersebut.

Pengaturan Apa yang dikendalikannya
Direktori Cache Direktori lokal tempat Layanan Integrasi membuat file indeks dan cache data. Nilai default adalah variabel proses $PMCacheDir yang ditetapkan di Workflow Manager.
TracTingkat ing Jumlah detail yang ditulis ke log sesi untuk transformasi ini.
Input yang Diurutkan Menyatakan bahwa data yang masuk sudah diurutkan berdasarkan grup menurut port. Pilih ini hanya jika petaping Benar-benar memberikan data yang terorganisir.
Ukuran Cache Data Agregator Ukuran cache data. Nilai default adalah 2,000,000 byte, dan opsi Otomatis memungkinkan Layanan Integrasi untuk menentukan ukurannya.
Ukuran Cache Indeks Agregator Ukuran cache indeks. Nilai default adalah 1,000,000 byte, dan opsi Otomatis memungkinkan Layanan Integrasi untuk menentukan ukurannya.
Lingkup Transformasi Menerapkan logika ke setiap transaksi, atau ke semua data yang masuk. Semua Input mengabaikan batasan transaksi yang masuk.

Saat agregasi inkremental diaktifkan, Integration Service menulis cadangan file cache pada setiap eksekusi, sehingga direktori cache harus menyimpan dua set file, bukan satu.

Aturan Ekspresi Agregat dan Kiat Kinerja

Ekspresi agregat dapat menggabungkan fungsi agregat dengan klausa kondisional dan fungsi non-agregat, yang memungkinkan penjumlahan dan penghitungan kondisional di dalam satu port. Dua aturan membatasi apa yang dapat ditulis.

  • Satu tingkat penestingan. Hanya satu fungsi agregat yang boleh bersarang di dalam fungsi agregat lainnya, dan ekspresi bagian dalam dievaluasi terlebih dahulu.
  • Tidak ada pencampuran. Suatu transformasi dapat berisi fungsi tingkat tunggal atau fungsi bersarang, tidak pernah keduanya. Jika berisi keduanya, Perancang akan menandai peta tersebut.ping tidak valid, jadi pisahkan logika ke dalam dua transformasi Aggregator.

Dari sisi penyetelan, tiga pengaturan berikut melakukan sebagian besar pekerjaan:

  • Input yang sudah diurutkan. Ketika baris data tiba dalam keadaan terurut berdasarkan grup menurut port, setiap grup dapat dilepaskan segera setelah baris terakhirnya tiba, sehingga lebih sedikit data yang di-cache dan sesi berjalan lebih cepat. Input yang terurut tidak dapat dikombinasikan dengan agregasi inkremental.
  • Agregasi bertahap. Baris sumber baru dilewatkan melalui peta.ping dan dikombinasikan dengan cache historis alih-alih menghitung ulang riwayat, yang sesuai untuk pemuatan harian ke total yang terus berjalan.
  • Saring sejak dini. Baris yang tidak akan pernah berkontribusi pada total harus dihapus sebelum Aggregator, baik dalam kueri Source Qualifier atau dalam Transformasi filter, karena setiap baris yang mencapai Aggregator membutuhkan memori cache. Ini adalah salah satu pemeriksaan standar selama penyempurnaan kinerja.

Pertanyaan Umum Demo Slot

Keluarga agregat mencakup AVG, COUNT, FIRST, LAST, MAX, MEDIAN, MIN, PERCENTILE, STDDEV, SUM dan VARIANCE. Masing-masing mengembalikan nilai ringkasan untuk nilai-nilai non-null pada port yang dipilih.

Seluruh input diperlakukan sebagai satu kelompok, sehingga satu baris dikembalikan untuk semua baris input. Baris tersebut memuat hasil agregat bersama dengan baris terakhir yang diterima oleh transformasi.

Cache indeks menyimpan nilai grup, yaitu nilai-nilai port yang ditandai dengan Group By. Cache data menyimpan data baris yang digunakan dalam perhitungan. Kelebihan data dari salah satu cache akan ditulis ke file cache.

Hanya data sumber baru yang dilewatkan melalui peta.ping dan menggabungkannya dengan cache historis dari proses sebelumnya, sehingga total diperbarui alih-alih dibangun ulang. Ini tidak dapat digabungkan dengan opsi input yang diurutkan.

Secara default, Integration Service memperlakukan nilai null sebagai NULL dan melewatinya, sehingga penjumlahan mengabaikan gaji yang kosong. Layanan ini dapat dikonfigurasi untuk memperlakukan nilai null dalam fungsi agregasi sebagai nol.

Masukkan ke dalam direktori yang ditentukan oleh pengaturan Direktori Cache, yang secara default adalah variabel proses $PMCacheDir yang dikonfigurasi di Workflow Manager. Pastikan direktori tersebut ada dan memiliki ruang disk kosong yang cukup.

Asisten AI membuat profil data sumber dan riwayat beban kerja untuk menyarankan di mana total tersebut seharusnya berada, dan grup mana yang sesuai.ping Kunci-kunci penting dan di sinilah perhitungan lebih murah dalam basis data. Penasihat berbasis pembelajaran mesin memberi peringkat opsi, dan seorang insinyur menyetujuinya.

Copilot membuat draf ekspresi dan SQL di sekitarnya dengan cepat, yang menghemat waktu pada pekerjaan port yang berulang. Namun, Copilot tidak dapat melihat ukuran cache atau urutan port Anda, jadi validasi setiap saran di Editor Ekspresi sebelum menyimpan.

Ringkaslah postingan ini dengan: