Performance Tuning in Informatica: Πλήρες σεμινάριο

Με: Ντέιβιντ Κάρτερ Ντέιβιντ Κάρτερ
Hours Ενημερώθηκε

⚡ Έξυπνη Σύνοψη

Η ρύθμιση της απόδοσης στο Informatica αφαιρεί τον πιο αργό σύνδεσμο σε μια συνεδρία, ένα επίπεδο τη φορά, εργαζόμενος από τον στόχο πίσω στην πηγή, τον χάρτηping, η συνεδρία και τέλος το λειτουργικό σύστημα.

  • 🎯 Σταθερή παραγγελία: Η Informatica συνιστά να αναζητάτε σημεία συμφόρησης ως στόχο, στη συνέχεια πηγή και στη συνέχεια χάρτηping, έπειτα συνεδρία και μετά σύστημα.
  • 🧵 Τα στατιστικά στοιχεία των νημάτων αφηγούνται την ιστορία: Το πιο πολυάσχολο από τα νήματα ανάγνωσης, μετασχηματισμού και συγγραφέα ονομάζει το επίπεδο που χρειάζεται επεξεργασία.
  • 🚿 Φιλτράρισμα νωρίς: Οι γραμμές που απορρίπτονται στον Προσδιοριστή Πηγής δεν εισέρχονται ποτέ στη διοχέτευση, επομένως δεν κοστίζουν τίποτα κατάντη.
  • 🗄️ Προώθηση εργασίας στη βάση δεδομένων: Οι ενώσεις, οι ταξινομήσεις και τα φίλτρα συνήθως εκτελούνται πιο γρήγορα στην SQL παρά σε έναν μετασχηματισμό.
  • 🧊 Πειθαρχία προσωρινής μνήμης: Λιγότερες θύρες και λιγότερες στήλες αναζήτησης σημαίνουν μικρότερες προσωρινές μνήμες και λιγότερη σελιδοποίηση δίσκου.
  • ⚙️ Οι ρυθμίσεις της συνεδρίας έχουν σημασία: Το μέγεθος του buffer DTM, το μέγεθος του block buffer, το διάστημα commit και η βελτιστοποίηση pushdown ρυθμίζονται μετά τον χάρτη.ping είναι καθαρό.
Περισσότερα

Performance Tuning στην Informatica

Τι είναι η βελτίωση της απόδοσης στην πληροφορική;

Η ρύθμιση της απόδοσης στην Informatica είναι η πρακτική της εύρεσης του ενός στοιχείου που περιορίζει την ταχύτητα εκτέλεσης μιας συνεδρίας, της αφαίρεσης αυτού του ορίου και, στη συνέχεια, της επανάληψης της άσκησης σε όποιο στοιχείο γίνει το επόμενο πιο αργό. Μια συνεδρία είναι τόσο γρήγορη όσο το πιο αργό της επίπεδο, επομένως η ρύθμιση ενός μετασχηματισμού που δεν ήταν ποτέ το πρόβλημα δεν παράγει κανένα μετρήσιμο κέρδος.

Η Informatica προσδιορίζει πέντε σημεία όπου μπορεί να δημιουργηθεί συμφόρηση και συνιστά τον έλεγχό τους με καθορισμένη σειρά.

Order Στρώμα Τυπική αιτία
1 Target Αργές εγγραφές, μικρά διαστήματα σημείων ελέγχου, μικρά μεγέθη πακέτων δικτύου βάσης δεδομένων
2 Πηγή Αργό ερώτημα, ελλείποντα ευρετήρια, ανάγνωση περιττών στηλών
3 ΧΑΡΤΗΣ Ακριβοί ή κακώς τοποθετημένοι μετασχηματισμοί, υπερμεγέθεις κρυφές μνήμες
4 Συνεδρία Buffer μνήμη, διάστημα ολοκλήρωσης, διαμέριση, τύπος φόρτωσης
5 σύστημα Κορεσμός CPU, αναμονές εισόδου/εξόδου, αναζήτηση στον υπολογιστή της Υπηρεσίας Ενοποίησης

Η σειρά είναι σκόπιμη. Ένας στόχος που δεν μπορεί να απορροφήσει σειρές αρκετά γρήγορα θα κάνει κάθε ανοδικό επίπεδο να φαίνεται αργό, επομένως ελέγχεται πρώτα. Η πλήρης μέθοδος τεκμηριώνεται στο Οδηγός ρύθμισης απόδοσης PowerCenter.

Πώς να εντοπίσετε σημεία συμφόρησης απόδοσης

Η εικασία του αργού στρώματος σπαταλά περισσότερο χρόνο από τη μέτρησή του. Τέσσερις τεχνικές καλύπτουν τα πέντε στρώματα που αναφέρονται παραπάνω.

  • Εκτελέστε μια δοκιμαστική συνεδρία. Διαμορφώστε ένα αντίγραφο του Συνεδρίαση για εγγραφή σε έναν στόχο επίπεδου αρχείου. Εάν η συνεδρία επιταχυνθεί αισθητά, ο στόχος είναι το σημείο συμφόρησης. Η κατοπτρική εικόνα του ίδιου κόλπου, η ανάγνωση από μια προέλευση επίπεδου αρχείου, απομονώνει ένα σημείο συμφόρησης πηγής.
  • Ανάλυση στατιστικών στοιχείων νημάτων. Ο Διαχειριστής Μετασχηματισμού Δεδομένων εκτελεί ένα νήμα ανάγνωσης, ένα ή περισσότερα νήματα μετασχηματισμού και ένα νήμα συγγραφέα. Το νήμα με τον υψηλότερο χρόνο απασχόλησης στο αρχείο καταγραφής περιόδου λειτουργίας δείχνει κατευθείαν στο επίπεδο στο οποίο θα γίνει η επεξεργασία: αναγνώστης για την πηγή, μετασχηματισμός για τον χάρτηping, συγγραφέας για τον στόχο.
  • Αναλύστε τις λεπτομέρειες απόδοσης. Ενεργοποίηση συλλογής δεδομένων απόδοσης στην περίοδο λειτουργίας και ανάγνωση των μετρητών. Οι γραμμές με υψηλά σφάλματα ή ένας μεγάλος αριθμός γραμμών σε μια προσωρινή μνήμη αναζήτησης υποδεικνύουν μια αντιστοίχισηping πρόβλημα και όχι πρόβλημα βάσης δεδομένων.
  • Παρακολουθήστε το σύστημα. Operaεργαλεία συστήματος που δείχνουν τη χρήση της CPU, τις αναμονές εισόδου/εξόδου και την αναζήτηση, μαζί με το Παρακολούθηση ροής εργασιών Οι προβολές πόρων αποκαλύπτουν ένα μηχάνημα που απλώς έχει εξαντληθεί.

Μόλις γίνει γνωστό το υπεύθυνο επίπεδο, αξίζει να εφαρμοστούν οι συμβουλές για το επίπεδο μετασχηματισμού στις επόμενες ενότητες. Οι ενότητες είναι διατεταγμένες με σειρά αγωγού, από το σημείο όπου τα δεδομένα εισέρχονται στο χαρτης μέχρι το σημείο που συσσωρεύεται.

Μετασχηματισμός προσδιορισμού πηγής

Κάθε γραμμή που δεν διαβάζει ο Προσδιοριστής Πηγής είναι μια γραμμή που δεν χρειάζεται να επεξεργαστεί κανένας άλλος μετασχηματισμός, γεγονός που την καθιστά την φθηνότερη θέση σε ολόκληρο τον χάρτη.ping για να εξοικονομήσετε χρόνο.

  • Φέρτε μόνο τις απαιτούμενες στήλες από την πηγή. Τις περισσότερες φορές δεν απαιτούνται όλες οι στήλες του πίνακα προέλευσης, επομένως φέρτε μόνο τα απαιτούμενα πεδία διαγράφοντας τις περιττές στήλες.
  • Αποφύγετε τη χρήση ρήτρας order by (κατάταξη κατά σειρά) μέσα στο Προσδιορισμός πηγής Παράκαμψη SQL. Η ρήτρα order by απαιτεί πρόσθετη επεξεργασία και η απόδοση μπορεί να αυξηθεί αποφεύγοντάς την.

ΣΧΕΤΙΚΑ ΑΡΘΡΑ

Μετασχηματισμός φίλτρου

Το φιλτράρισμα ακολουθεί την ίδια αρχή ένα βήμα αργότερα στη διαδικασία: απορρίψτε τις ανεπιθύμητες γραμμές στο νωρίτερο σημείο στο οποίο ο χάρτηςping έχει αρκετές πληροφορίες για να τις αναγνωρίσει.

  • Χρήση μετασχηματισμός φίλτρου όσο το δυνατόν νωρίτερα μέσα στον χάρτηpingΕάν τα ανεπιθύμητα δεδομένα μπορούν να απορριφθούν νωρίς στον χάρτηping, θα αύξανε την απόδοση.
  • Χρησιμοποιήστε τον προσδιοριστή πηγής για να φιλτράρετε τα δεδομένα. Μπορείτε επίσης να χρησιμοποιήσετε την παράκαμψη SQL του προσδιοριστή πηγής για να φιλτράρετε τις εγγραφές, αντί να χρησιμοποιήσετε μετασχηματισμό φίλτρου.

Μετασχηματισμός Joiner

Η συμμετοχή είναι η πρώτη πραγματικά ακριβή λειτουργία σε έναν τυπικό χάρτηping, επειδή η κύρια πηγή πρέπει να αποθηκευτεί στην προσωρινή μνήμη πριν αντιστοιχιστούν οι γραμμές λεπτομερειών με αυτήν.

  • Προτιμήστε πάντα να εκτελείτε ενώσεις στη βάση δεδομένων, εάν είναι δυνατόν, καθώς οι ενώσεις στη βάση δεδομένων είναι ταχύτερες από τις ενώσεις που δημιουργούνται στο Informatica. μετασχηματισμός joiner.
  • Ταξινομήστε τα δεδομένα πριν από τη σύνδεση, εάν είναι δυνατόν, καθώς μειώνεται η είσοδος/έξοδος του δίσκου που εκτελείται κατά τη σύνδεση.
  • Δημιουργήστε τον πίνακα με μικρότερο αριθμό γραμμών ως κύριο πίνακα.

Το τρίτο σημείο είναι αυτό που παραβλέπεται συχνότερα. Η Υπηρεσία Ενοποίησης αποθηκεύει προσωρινά την κύρια πηγή, επομένως ο ορισμός του μικρότερου πίνακα ως κύριας διατηρεί αυτήν την προσωρινή μνήμη μικρή.

Μετασχηματισμός αναζήτησης

Μια αναζήτηση είτε υποβάλλει ερώτημα στη βάση δεδομένων μία φορά ανά γραμμή είτε δημιουργεί μια προσωρινή μνήμη στη μνήμη, και οι δύο διαδρομές ανταμείβουν μια μικρότερη, καλύτερα ευρετηριασμένη πηγή αναζήτησης.

  • Δημιουργήστε ένα ευρετήριο για τη στήλη σε ένα πίνακας αναζήτησης η οποία χρησιμοποιείται σε συνθήκη αναζήτησης. Δεδομένου ότι ο πίνακας αναζήτησης θα ερωτηθεί για την αναζήτηση των αντίστοιχων δεδομένων, η προσθήκη ενός ευρετηρίου θα αυξήσει την απόδοση.
  • Εάν είναι δυνατόν, αντί να χρησιμοποιείτε μετασχηματισμό αναζήτησης, χρησιμοποιήστε την εγγραφή στη βάση δεδομένων. Καθώς οι ενώσεις βάσεων δεδομένων είναι πιο γρήγορες, η απόδοση θα αυξάνεται.
  • Διαγράψτε τις περιττές στήλες από τον πίνακα αναζήτησης και διατηρήστε μόνο τις απαιτούμενες στήλες. Αυτό θα μειώσει την επιβάρυνση της ανάκτησης των επιπλέον στηλών από τη βάση δεδομένων.

Μετασχηματισμός συσσωρευτή

An Συσσωρευτής διατηρεί δεδομένα σε μια προσωρινή μνήμη ενώ ομαδοποιεί γραμμές, επομένως οτιδήποτε μειώνει τον όγκο που φτάνει σε αυτήν μειώνει την προσωρινή μνήμη που χρειάζεται.

  • Φιλτράρετε τα δεδομένα πριν τα συγκεντρώσετε. Εάν χρησιμοποιείτε μετασχηματισμό φίλτρου στον χάρτηpingκαι, στη συνέχεια, φιλτράρετε τα δεδομένα πριν χρησιμοποιήσετε τον αθροιστή, καθώς αυτό θα μειώσει την περιττή λειτουργία συσσωμάτωσης.
  • Περιορίστε τον αριθμό των θυρών που χρησιμοποιούνται στον μετασχηματισμό του συσσωρευτή. Αυτό θα μειώσει τον όγκο των δεδομένων που αποθηκεύει ο μετασχηματισμός του συσσωρευτή στην προσωρινή μνήμη.

Ρύθμιση σε επίπεδο συνεδρίας στην Informatica

Όταν ο χάρτηςping από μόνο του είναι καθαρό, τα υπόλοιπα οφέλη προέρχονται από τις ιδιότητες της συνεδρίας. Αυτές οι ρυθμίσεις αξίζει να αλλάζουν μία κάθε φορά, με μια χρονομετρημένη εκτέλεση μετά από κάθε αλλαγή, επειδή αρκετές από αυτές ανταλλάσσουν μνήμη με ταχύτητα.

Ρύθμιση Τι ελέγχει Πότε να το αλλάξετε
Μέγεθος προσωρινής αποθήκευσης DTM Συνολική μνήμη που διαθέτει η Υπηρεσία Ενοποίησης για μπλοκ δεδομένων προέλευσης και προορισμού Αύξηση όταν η συνεδρία χειρίζεται πολλά διαμερίσματα, πηγές ή προορισμούς
Buffer μέγεθος μπλοκ Μέγεθος ενός μεμονωμένου μπλοκ μνήμης Αύξηση για ασυνήθιστα μεγάλες σειρές· μείωση όταν η φυσική μνήμη είναι περιορισμένη
Διάστημα ολοκλήρωσης Πόσες γραμμές γράφονται πριν από την έκδοση μιας υποβολής Αυξήστε το όταν το νήμα συγγραφέα ξοδεύει τον χρόνο του περιμένοντας σε σημεία ελέγχου βάσης δεδομένων
Βελτιστοποίηση pushdown Πόσο μέρος του χάρτηping Η λογική μετατρέπεται σε SQL και εκτελείται από τη βάση δεδομένων Χρησιμοποιήστε όταν η πηγή και ο στόχος βρίσκονται στην ίδια ισχυρή βάση δεδομένων

Buffer Η μνήμη ακολουθεί έναν τεκμηριωμένο υπολογισμό και όχι εικασίες. Η Υπηρεσία Ενοποίησης εκχωρεί τουλάχιστον δύο μπλοκ για κάθε διαμέρισμα προέλευσης και προορισμού, επομένως ο αριθμός των μπλοκ buffer περιόδου σύνδεσης (σύνολο πηγών + σύνολο στόχων) πολλαπλασιάζεται επί δύο και το μέγεθος του buffer DTM είναι ο αριθμός των μπλοκ πολλαπλασιασμένος με το μέγεθος του μπλοκ buffer και διαιρούμενος με 0.9.

Η βελτιστοποίηση pushdown χρήζει προσοχής. Βοηθά μόνο όταν η βάση δεδομένων είναι πραγματικά ταχύτερη από τον υπολογιστή της Υπηρεσίας Ενοποίησης και η λογική μετασχηματισμού μπορεί να εκφραστεί ως εξής: SQL; η λογική που δεν μπορεί να μεταφραστεί παραμένει στην περίοδο λειτουργίας, επομένως το κέρδος είναι συχνά μικρότερο από το αναμενόμενο. Μετρήστε πριν και μετά αντί να το ενεργοποιήσετε ως προεπιλογή.

Συχνές Ερωτήσεις

Η διαμέριση βοηθάει όταν ο υπολογιστής της Υπηρεσίας Ενοποίησης έχει εφεδρική CPU και η πηγή και ο στόχος μπορούν να εξυπηρετήσουν παράλληλες συνδέσεις. Σε έναν κορεσμένο υπολογιστή ή σε έναν στόχο με ένα μόνο νήμα, τα επιπλέον διαμερίσματα προσθέτουν επιβάρυνση χωρίς να μειώνουν την εκτέλεση.

Ορίστε την προσωρινή μνήμη ευρετηρίου και δεδομένων αρκετά μεγάλη ώστε να χωράει ολόκληρη την πηγή αναζήτησης, διαφορετικά τις σελίδες της Υπηρεσίας Ενοποίησης στο δίσκο. Τα αρχεία καταγραφής περιόδων σύνδεσης αναφέρουν το μέγεθος της προσωρινής μνήμης που απαιτείται στην πραγματικότητα, επομένως εκτελέστε την μία φορά με αυτόματη αλλαγή μεγέθους και διαβάστε την τιμή πίσω.

Κάθε ένθετο διατηρεί επίσης κάθε ευρετήριο και περιορισμό στον στόχο, και αυτό το κόστος αυξάνεται με το μέγεθος του πίνακα. Τα παλιά στατιστικά στοιχεία της βάσης δεδομένων επιδεινώνουν την κατάσταση. Το νήμα του συγγραφέα γίνεται τότε το πιο πολυάσχολο νήμα, το οποίο είναι η κλασική υπογραφή συμφόρησης του στόχου.

Ναι, επειδή ο μετασχηματισμός μπορεί να αποδεσμεύσει κάθε ομάδα μόλις ολοκληρωθεί αντί να αποθηκεύσει τα πάντα στην προσωρινή μνήμη. Οι εισερχόμενες γραμμές πρέπει ήδη να έχουν ταξινομηθεί κατά ομάδες ανά ports και η συνεδρία αποτυγχάνει εάν δεν είναι.

Για μεγάλο φορτίο μόνο για ένθετο, ρίξτεping Η δημιουργία ευρετηρίων και περιορισμών πρώτα και η ανακατασκευή τους στη συνέχεια είναι συνήθως ταχύτερη. Οι εντολές SQL πριν και μετά την περίοδο συνεδρίας στις ιδιότητες της περιόδου συνεδρίας είναι το κανονικό μέρος για τη δημιουργία σεναρίων και για τα δύο βήματα.

Η μαζική λειτουργία παρακάμπτει μεγάλο μέρος της καταγραφής της βάσης δεδομένων και φορτώνει πιο γρήγορα, αλλά αποτρέπει την ανάκτηση και δεν λειτουργεί με όλους τους προορισμούς ή με στρατηγικές ενημέρωσης. Η κανονική λειτουργία εγγράφει μέσω της συνήθους καταγεγραμμένης διαδρομής και παραμένει ανακτήσιμη.

Τα μοντέλα που έχουν εκπαιδευτεί με βάση τους ιστορικούς χρόνους εκτέλεσης επισημαίνουν μια συνεδρία που έχει αποκλίνει από την κανονική της διάρκεια πολύ πριν το προσέξει κανείς, καθώς και αποτυχίες που σχετίζονται με τα συμπλέγματα. Υποδεικνύουν την εκτέλεση που άλλαξε — το υπεύθυνο επίπεδο πρέπει ακόμη να επιβεβαιωθεί από τα στατιστικά στοιχεία των νημάτων.

Μπορεί να ξαναγράψει ένα ερώτημα, να προτείνει υποψήφια ευρετήρια και να εξηγήσει ένα σχέδιο εκτέλεσης που έχει επικολληθεί στον επεξεργαστή. Δεν μπορεί να δει το αποθετήριο ή το αρχείο καταγραφής περιόδου λειτουργίας, επομένως οποιαδήποτε επανεγγραφή πρέπει να επικυρωθεί σε σχέση με το πραγματικό σχέδιο και τον αριθμό γραμμών.

Συνοψίστε αυτήν την ανάρτηση με: