Εκμάθηση SSIS για αρχάριους: Τι είναι, Architecture, πακέτα

Διευκολύνει τη μεταφορά δεδομένων από μια βάση δεδομένων σε μια άλλη βάση δεδομένων. Το SSIS μπορεί να εξάγει δεδομένα από μια μεγάλη ποικιλία πηγών όπως βάσεις δεδομένων SQL Server, αρχεία Excel, Oracle και βάσεις δεδομένων DB2, κ.λπ.

Το SSIS περιλαμβάνει επίσης γραφικά εργαλεία και οδηγούς για την εκτέλεση λειτουργιών ροής εργασιών, όπως αποστολή μηνυμάτων email, λειτουργίες FTP, πηγές δεδομένων και προορισμούς.

Γιατί χρησιμοποιούμε το SSIS;

Ακολουθούν οι βασικοί λόγοι για τη χρήση του εργαλείου SSIS:

• Το εργαλείο SSIS σάς βοηθά να συγχωνεύσετε δεδομένα από διάφορους χώρους αποθήκευσης δεδομένων
• Αυτοματοποιεί τις διαχειριστικές λειτουργίες και τη φόρτωση δεδομένων
• Συμπληρώνει Data Marts & Data Warehouses
• Σας βοηθά να καθαρίσετε και να τυποποιήσετε δεδομένα
• Ενσωμάτωση του BI σε μια Διαδικασία Μετασχηματισμού Δεδομένων
• Αυτοματοποίηση διαχειριστικών λειτουργιών και φόρτωση δεδομένων
• Το SIS περιέχει ένα GUI που βοηθά τους χρήστες να μετασχηματίζουν εύκολα δεδομένα αντί να γράφουν μεγάλα προγράμματα
• Μπορεί να φορτώσει εκατομμύρια σειρές από τη μια πηγή δεδομένων στην άλλη σε πολύ λίγα λεπτά
• Εντοπισμός, καταγραφή και επεξεργασία αλλαγών δεδομένων
• Συντονισμός συντήρησης, επεξεργασίας ή ανάλυσης δεδομένων
• Το SSIS εξαλείφει την ανάγκη σκληροπυρηνικών προγραμματιστών
• Το SSIS προσφέρει ισχυρό χειρισμό σφαλμάτων και συμβάντων

Ιστορία του SSIS

Πριν από το SSIS, χρησιμοποιήθηκε ο SQL Server, Data Transformation Services (DTS), το οποίο ήταν μέρος του SQL Server 7 και του 2000

Εκδοχή	Λεπτομέρεια
SQL Server 2005	The Microsoft η ομάδα αποφάσισε να ανανεώσει το DTS. Ωστόσο, αντί για ενημέρωση DTS, αποφάσισαν να ονομάσουν το προϊόν Υπηρεσίες Ενοποίησης (SSIS).
Έκδοση διακομιστή SQL 2008	Έγιναν πολλές βελτιώσεις απόδοσης στο SSIS. Εισήχθησαν επίσης νέες πηγές.
SQL Server 2012	Ήταν η μεγαλύτερη κυκλοφορία για το SSIS. Με αυτήν την έκδοση, εισήχθη η έννοια του μοντέλου ανάπτυξης έργου. Επιτρέπει ολόκληρα έργα και τα πακέτα τους αναπτύσσονται σε διακομιστή, αντί για συγκεκριμένα πακέτα.
SQL Server 2014	Σε αυτήν την έκδοση, δεν γίνονται πολλές αλλαγές για το SSIS. Αλλά προστέθηκαν νέες πηγές ή μετασχηματισμοί που έγιναν με ξεχωριστές λήψεις μέσω του CodePlex ή το πακέτο δυνατοτήτων του SQL Server.
Στον SQL Server 2016	Η έκδοση σάς επιτρέπει να αναπτύξετε ολόκληρα έργα, αντί για μεμονωμένα πακέτα. Υπάρχουν πρόσθετες πηγές, ειδικά το cloud, και μεγάλες πηγές δεδομένων και λίγες αλλαγές έγιναν στον κατάλογο.

Εξέχοντα χαρακτηριστικά SSIS

Ακολουθούν ορισμένα σημαντικά βασικά χαρακτηριστικά του SSIS:

• Περιβάλλοντα Στούντιο
• Σχετικές λειτουργίες ενοποίησης δεδομένων
• Αποτελεσματική ταχύτητα υλοποίησης
• Σκληρή ενοποίηση με άλλα Microsoft Οικογένεια SQL
• Μετασχηματισμός ερωτήματος εξόρυξης δεδομένων
• Ασαφής αναζήτηση και μετασχηματισμοί ομαδοποίησης
• Εξαγωγή όρων και Μετασχηματισμοί αναζήτησης όρων
• Στοιχεία συνδεσιμότητας δεδομένων υψηλότερης ταχύτητας, όπως συνδεσιμότητα με SAP or Oracle

SSIS Archiδομή

Ακολουθούν στοιχεία της αρχιτεκτονικής SSIS:

• Ροή ελέγχου (Αποθηκεύει κοντέινερ και εργασίες)
• Ροή δεδομένων (Πηγή, Προορισμός, Μετασχηματισμοί)
• Εργαλείο χειρισμού συμβάντων (αποστολή μηνυμάτων, email)
• Package Explorer (Προσφέρει μια ενιαία προβολή για όλα στο πακέτο)
• Παράμετροι (Αλληλεπίδραση χρήστη)

Ας κατανοήσουμε κάθε στοιχείο λεπτομερώς:

1. Έλεγχος ροής

Η ροή ελέγχου είναι ο εγκέφαλος του πακέτου SSIS. Σας βοηθά να κανονίσετε τη σειρά εκτέλεσης για όλα τα στοιχεία του. Τα στοιχεία περιέχουν δοχεία και εργασίες που διαχειρίζονται με περιορισμούς προτεραιότητας.

2. Περιορισμοί προτεραιότητας

Οι περιορισμοί προτεραιότητας είναι συστατικό πακέτου που κατευθύνει τις εργασίες να εκτελεστούν με προκαθορισμένη σειρά. Καθορίζει επίσης τη ροή εργασιών ολόκληρου του πακέτου SSIS. Ελέγχει την εκτέλεση των δύο συνδεδεμένων εργασιών εκτελώντας τις εργασίες προορισμού με βάση το αποτέλεσμα της προηγούμενης εργασίας — επιχειρηματικούς κανόνες που ορίζονται χρησιμοποιώντας ειδικές εκφράσεις.

3. Εργασία

Μια «Εργασία» είναι μια μεμονωμένη μονάδα εργασίας. Είναι το ίδιο με μια μέθοδο/συνάρτηση που χρησιμοποιείται σε μια γλώσσα προγραμματισμού. Ωστόσο, στο SSIS, δεν χρησιμοποιείτε μεθόδους κωδικοποίησης. Αντίθετα, θα χρησιμοποιήσετε την τεχνική drag & drop για να σχεδιάσετε την επιφάνεια και να τις διαμορφώσετε.

4. Εμπορευματοκιβώτια

Το δοχείο είναι μονάδες για ομαδοποίηση εργασιών σε μονάδες εργασίας. Εκτός από την οπτική συνοχή, σας επιτρέπει επίσης να δηλώνετε μεταβλητές και χειριστές συμβάντων που θα πρέπει να εμπίπτουν στο πεδίο εφαρμογής του συγκεκριμένου κοντέινερ.

Τέσσερις τύποι εμπορευματοκιβωτίων στο SSIS είναι:

• Ένα δοχείο ακολουθίας
• Ένα δοχείο βρόχου For
• Δοχείο βρόχου Foreach

Δοχείο ακολουθίας: σας επιτρέπει να οργανώνετε δευτερεύουσες εργασίες ομαδοποιώντας τις και σας επιτρέπει να εφαρμόζετε συναλλαγές ή να εκχωρείτε καταγραφή στο κοντέινερ.

Για το δοχείο βρόχου:Παρέχει την ίδια λειτουργικότητα με το Sequence Container εκτός από το ότι σας επιτρέπει επίσης να εκτελέσετε τις εργασίες πολλές φορές. Ωστόσο, βασίζεται σε μια συνθήκη αξιολόγησης, όπως ένας βρόχος από το 1 έως το 100.

Για κάθε Loop Container: Επιτρέπει επίσης το looping. Αλλά η διαφορά είναι ότι αντί να χρησιμοποιείται μια έκφραση συνθήκης, ο βρόχος γίνεται σε ένα σύνολο αντικειμένων, αρέσει στα αρχεία σε έναν φάκελο.

5. Ροή δεδομένων

Η κύρια χρήση του εργαλείου SSIS είναι η εξαγωγή δεδομένων στη μνήμη του διακομιστή, η μετατροπή τους και η εγγραφή τους σε άλλο προορισμό. Εάν το Control Flow είναι ο εγκέφαλος, η ροή δεδομένων είναι η καρδιά του SSIS

6. Πακέτα SSIS

Ένα άλλο βασικό συστατικό του SSIS είναι η έννοια του πακέτου. Είναι μια συλλογή εργασιών που εκτελούνται με τάξη. Εδώ, οι περιορισμοί προέδρου βοηθούν στη διαχείριση της σειράς με την οποία θα εκτελεστεί η εργασία.

Ένα πακέτο μπορεί να σας βοηθήσει να αποθηκεύσετε αρχεία σε ένα Ο SQL Server, στη βάση δεδομένων msdb ή καταλόγου πακέτων. Μπορεί να αποθηκευτεί ως αρχείο .dtsx, το οποίο είναι ένα δομημένο αρχείο πολύ παρόμοιο με τα αρχεία .rdl με τις Υπηρεσίες Αναφοράς.

7. Παράμετροι

Οι παράμετροι συμπεριφέρονται σαν μια μεταβλητή αλλά με μερικές κύριες εξαιρέσεις. Μπορεί να τοποθετηθεί έξω από τη συσκευασία εύκολα. Μπορεί να οριστεί ως τιμές που πρέπει να περάσουν για να ξεκινήσει το πακέτο.

Τύποι εργασιών SSIS

Στο εργαλείο SSIS, μπορείτε να προσθέσετε μια εργασία για να ελέγξετε τη ροή. Υπάρχουν διάφοροι τύποι εργασιών που εκτελούν διάφορα είδη εργασιών.

Μερικές σημαντικές εργασίες SSIS αναφέρονται παρακάτω:

Ονομα εργασίας	Descriptιόντα
Εκτέλεση Εργασίας SQL	Όπως υποδηλώνει το όνομά του, θα εκτελέσει μια εντολή SQL σε μια σχεσιακή βάση δεδομένων.
Εργασία ροής δεδομένων	Αυτή η εργασία μπορεί να διαβάσει δεδομένα από μία ή περισσότερες πηγές. Μετατρέψτε τα δεδομένα όταν βρίσκονται στη μνήμη και καταγράψτε τα σε έναν ή περισσότερους προορισμούς.
Εργασία επεξεργασίας υπηρεσιών ανάλυσης	Χρησιμοποιήστε αυτήν την εργασία για να επεξεργαστείτε αντικείμενα ενός μοντέλου πίνακα ή ως κύβο SSAS.
Εκτέλεση εργασίας πακέτου	Η χρήση μπορεί να χρησιμοποιήσει αυτήν την εργασία SSIS για να εκτελέσει άλλα πακέτα από το ίδιο έργο.
Εκτέλεση Εργασίας Διαδικασίας	Με τη βοήθεια αυτής της εργασίας, μπορείτε να καθορίσετε παραμέτρους γραμμής εντολών.
Εργασία συστήματος αρχείων	Εκτελεί χειρισμούς στο σύστημα αρχείων. Όπως μετακίνηση, μετονομασία, διαγραφή αρχείων και δημιουργία καταλόγων.
Εργασίες FTP	Σας επιτρέπει να εκτελείτε βασικές λειτουργίες FTP.
Εργασία σεναρίου	Αυτή είναι μια κενή εργασία. Μπορείτε να γράψετε κώδικα NET που εκτελεί οποιαδήποτε εργασία. θέλετε να εκτελέσετε.
Αποστολή Mail Έργο	Μπορείτε να στείλετε ένα μήνυμα ηλεκτρονικού ταχυδρομείου στους χρήστες που ειδοποιούν ότι το πακέτο σας έχει ολοκληρωθεί ή ότι παρουσιάζεται κάποιο σφάλμα.
Εργασία μαζικής εισαγωγής	Η χρήση μπορεί να φορτώνει δεδομένα σε έναν πίνακα χρησιμοποιώντας την εντολή μαζικής εισαγωγής.
Εργασία σεναρίου	Εκτελεί ένα σετ από vb.net ή κωδικοποίηση C# μέσα σε περιβάλλον Visual Studio.
Εργασία Web Service	Εκτελεί μια μέθοδο σε μια υπηρεσία web.
Εργασία παρακολούθησης συμβάντων WMI	Αυτή η εργασία επιτρέπει στο πακέτο SSIS να περιμένει και να ανταποκρίνεται σε ορισμένα συμβάντα WMI.
Εργασία XML	Αυτή η εργασία σάς βοηθά να συγχωνεύσετε, να χωρίσετε ή να διαμορφώσετε ξανά οποιοδήποτε αρχείο XML.

Άλλα σημαντικά εργαλεία ETL

• SAP Υπηρεσίες δεδομένων
• Διαχείριση δεδομένων SAS
• Oracle Κατασκευαστής αποθήκης (OWB)
• PowerCenter Informatica
• IBM Διακομιστής πληροφοριών Infosphere
• Elixir Repertoire for Data ETL
• Ροή δεδομένων Sargent

Πλεονεκτήματα και μειονεκτήματα της χρήσης SSIS

Το εργαλείο SSIS προσφέρει τα ακόλουθα πλεονεκτήματα:

• Ευρεία τεκμηρίωση και υποστήριξη
• Ευκολία και ταχύτητα υλοποίησης
• Αυστηρή ενοποίηση με τον SQL Server και οπτικό στούντιο
• Τυποποιημένη ενοποίηση δεδομένων
• Προσφέρει δυνατότητες σε πραγματικό χρόνο, βασισμένες σε μηνύματα
• Υποστήριξη για το μοντέλο διανομής
• Σας βοηθά να αφαιρέσετε το δίκτυο ως σημείο συμφόρησης για την εισαγωγή δεδομένων από το SSIS στην SQL
• Το SISS σάς επιτρέπει να χρησιμοποιείτε τον προορισμό του διακομιστή SQL αντί του OLE DB για να φορτώσετε τα δεδομένα πιο γρήγορα

Μειονεκτήματα του SSIS

Μερικά μειονεκτήματα της χρήσης εργαλείων SSIS είναι τα εξής:

• Μερικές φορές δημιουργείτε ζητήματα σε περιβάλλοντα εκτός των Windows
• Ασαφές όραμα και στρατηγική
• Το SSIS δεν υποστηρίζει εναλλακτικά στυλ ενοποίησης δεδομένων
• Προβληματική ενσωμάτωση με άλλα προϊόντα

SSIS καλυτερα Practices Example

• Το SSIS είναι ένας αγωγός στη μνήμη. Γι' αυτό είναι σημαντικό να βεβαιωθείτε ότι όλοι οι μετασχηματισμοί συμβαίνουν στη μνήμη
• Προσπαθήστε να ελαχιστοποιήσετε τις καταγεγραμμένες λειτουργίες
• Σχεδιάστε τη χωρητικότητα κατανοώντας τη χρήση των πόρων
• Βελτιστοποιήστε τον μετασχηματισμό αναζήτησης SQL, την πηγή δεδομένων και τον προορισμό
• Προγραμματίστε και μοιράστε το σωστά

Σύνοψη

• Η πλήρης μορφή του SSIS είναι SQL Server Integration Services
• Το εργαλείο SSIS σάς βοηθά να συγχωνεύσετε δεδομένα από διάφορους χώρους αποθήκευσης δεδομένων
• Σημαντικές εκδόσεις του SQL Server Integration Service είναι οι 2005, 2008, 2012, 2014 και 216
• Τα περιβάλλοντα στούντιο, οι σχετικές λειτουργίες ενοποίησης δεδομένων και η αποτελεσματική ταχύτητα υλοποίησης είναι μερικά σημαντικά χαρακτηριστικά του SSIS
• Η ροή ελέγχου, η ροή δεδομένων, ο χειριστής συμβάντων, η εξερεύνηση πακέτων και οι παράμετροι είναι βασικά στοιχεία αρχιτεκτονικής SSIS
• Εκτέλεση Εργασίας SQL, Εργασία ροής δεδομένων, Εργασία Επεξεργασίας Υπηρεσιών Ανάλυσης, Εργασία Πακέτου Εκτέλεση, Εργασία Διεργασίας Εκτέλεση, Εργασία συστήματος αρχείων, Εργασίες FTP, Αποστολή Mail Το Task, το Web Service Task είναι μερικά σημαντικά
• Ευρεία τεκμηρίωση και υποστήριξη
• Το μεγαλύτερο μειονέκτημα του SSIS είναι ότι δεν υποστηρίζει εναλλακτικά στυλ ενοποίησης δεδομένων
• SAP Υπηρεσίες δεδομένων, Διαχείριση δεδομένων SAS, Oracle Warehouse Builder (OWB), PowerCenter Informatica, IBM Διακομιστής πληροφοριών Infosphere
• Το SSIS είναι ένας αγωγός στη μνήμη. Επομένως, είναι σημαντικό να βεβαιωθείτε ότι όλοι οι μετασχηματισμοί συμβαίνουν στη μνήμη