SSIS-Tutorial für Anfänger: Was ist, Architektur, Pakete

Es erleichtert das Verschieben von Daten von einer Datenbank in eine andere. SSIS kann Daten aus einer Vielzahl von Quellen wie SQL Server-Datenbanken, Excel-Dateien usw. extrahieren. Oracle und DB2-Datenbanken usw.

SSIS enthält auch grafische Tools und Assistenten zum Ausführen von Workflow-Funktionen wie dem Senden von E-Mail-Nachrichten, FTP-Vorgängen, Datenquellen und Zielen.

Warum verwenden wir SSIS?

Hier sind die Hauptgründe für die Verwendung des SSIS-Tools:

• Das SSIS-Tool hilft Ihnen, Daten aus verschiedenen Datenspeichern zusammenzuführen
• Automatisiert Verwaltungsfunktionen und das Laden von Daten
• Bestückt Data Marts und Data Warehouses
• Hilft Ihnen, Daten zu bereinigen und zu standardisieren
• BI in einen Datentransformationsprozess integrieren
• Verwaltungsfunktionen und Datenladen automatisieren
• SIS enthält eine GUI, die Benutzern hilft, Daten einfach zu transformieren, anstatt große Programme zu schreiben
• Es kann in wenigen Minuten Millionen von Zeilen von einer Datenquelle in eine andere laden
• Identifizieren, Erfassen und Verarbeiten von Datenänderungen
• Koordinierung der Datenpflege, -verarbeitung oder -analyse
• SSIS macht Hardcore-Programmierer überflüssig
• SSIS bietet eine robuste Fehler- und Ereignisbehandlung

Geschichte von SSIS

Vor SSIS wurden SQL Server und Data Transformation Services (DTS) verwendet, die Teil von SQL Server 7 und 2000 waren

Version	Detail
SQL Server 2005	Das Microsoft Das Team beschloss, DTS zu überarbeiten. Anstelle von Update DTS entschied man sich jedoch, das Produkt Integration Services (SSIS) zu nennen.
2008 SQL Server-Version	An SSIS wurden zahlreiche Leistungsverbesserungen vorgenommen. Außerdem wurden neue Quellen eingeführt.
SQL Server 2012	Es war die größte Version für SSIS. Mit dieser Version wurde das Konzept des Projektbereitstellungsmodells eingeführt. Es ermöglicht die Bereitstellung ganzer Projekte und ihrer Pakete auf einem Server anstelle spezifischer Pakete.
SQL Server 2014	In dieser Version werden nicht viele Änderungen für SSIS vorgenommen. Es wurden jedoch neue Quellen oder Transformationen hinzugefügt, was durch separate Downloads über Code erfolgtePlex oder das SQL Server Feature Pack.
Im SQL-Server 2016	Mit der Version können Sie ganze Projekte anstelle einzelner Pakete bereitstellen. Es gibt zusätzliche Quellen, insbesondere Cloud- und Big-Data-Quellen, und es wurden nur wenige Änderungen am Katalog vorgenommen.

Wesentliche SSIS-Funktionen

Hier sind einige wichtige SSIS-Grundfunktionen:

• Studioumgebungen
• Relevante Datenintegrationsfunktionen
• Effektive Umsetzungsgeschwindigkeit
• Enge Integration mit anderen Microsoft SQL-Familie
• Data-Mining-Abfragetransformation
• Fuzzy-Suche und Gruppierungstransformationen
• Termextraktion und Termsuchtransformationen
• Schnellere Datenverbindungskomponenten wie die Verbindung zu SAP or Oracle

SSIS Architektur

Folgendes sind Komponenten der SSIS-Architektur:

• Kontrollfluss (Speichert Container und Aufgaben)
• Datenfluss (Quelle, Ziel, Transformationen)
• Event Handler (Versand von Nachrichten, E-Mails)
• Paket-Explorer (Bietet eine einzige Ansicht für alle im Paket)
• Parameter (Benutzerinteraktion)

Lassen Sie uns jede Komponente im Detail verstehen:

1. Kontrollfluss

Der Kontrollfluss ist das Gehirn des SSIS-Pakets. Es hilft Ihnen, die Ausführungsreihenfolge für alle Komponenten festzulegen. Die Komponenten enthalten Container und Aufgaben, die durch Prioritätsbeschränkungen verwaltet werden.

2. Vorrangbeschränkungen

Prioritätseinschränkungen sind Paketkomponenten, die anweisen, dass Aufgaben in einer vordefinierten Reihenfolge ausgeführt werden. Es definiert auch den Workflow des gesamten SSIS-Pakets. Es steuert die Ausführung der beiden verknüpften Aufgaben, indem es die Zielaufgaben basierend auf dem Ergebnis der früheren Aufgabe ausführt – Geschäftsregeln, die mithilfe spezieller Ausdrücke definiert werden.

3. Aufgabe

Eine „Aufgabe“ ist eine einzelne Arbeitseinheit. Es ist dasselbe wie eine Methode/Funktion, die in einer Programmiersprache verwendet wird. In SSIS verwenden Sie jedoch keine Codierungsmethoden. Stattdessen verwenden Sie die Drag & Drop-Technik, um Oberflächen zu entwerfen und zu konfigurieren.

4. Behälter

Der Container besteht aus Einheiten zum Gruppieren von Aufgaben in Arbeitseinheiten. Es bietet nicht nur visuelle Konsistenz, sondern ermöglicht Ihnen auch die Deklaration von Variablen und Ereignishandlern, die im Gültigkeitsbereich des jeweiligen Containers liegen sollten.

Vier Arten von Containern in SSIS sind:

• Ein Sequenzcontainer
• Ein For-Schleifencontainer
• Foreach-Schleifencontainer

Sequenzcontainer: Ermöglicht Ihnen die Organisation untergeordneter Aufgaben durch Gruppierung und ermöglicht Ihnen, Transaktionen anzuwenden oder dem Container eine Protokollierung zuzuweisen.

Für Schleifencontainer:Bietet die gleiche Funktionalität wie der Sequenzcontainer, außer dass Sie die Aufgaben auch mehrmals ausführen können. Es basiert jedoch auf einer Bewertungsbedingung, etwa einer Schleife von 1 bis 100.

Für jeden Schleifencontainer: Es ermöglicht auch Looping. Der Unterschied besteht jedoch darin, dass anstelle eines Bedingungsausdrucks eine Schleife über eine Reihe von Objekten, z. B. Dateien in einem Ordner, ausgeführt wird.

5. Datenfluss

Der Hauptzweck des SSIS-Tools besteht darin, Daten in den Speicher des Servers zu extrahieren, sie umzuwandeln und an ein anderes Ziel zu schreiben. Wenn Control Flow das Gehirn ist, ist Data Flow das Herz von SSIS

6. SSIS-Pakete

Eine weitere Kernkomponente von SSIS ist das Konzept eines Pakets. Dabei handelt es sich um eine Sammlung von Aufgaben, die in geordneter Weise ausgeführt werden. Hier helfen President-Constraints dabei, die Reihenfolge zu verwalten, in der die Aufgaben ausgeführt werden.

Ein Paket kann Ihnen dabei helfen, Dateien auf einem zu speichern SQL Server, in der msdb- oder Paketkatalogdatenbank. Es kann als .dtsx-Datei gespeichert werden, eine strukturierte Datei, die den .rdl-Dateien von Reporting Services sehr ähnelt.

7. Parameter

Parameter verhalten sich ähnlich wie Variablen, allerdings mit einigen wesentlichen Ausnahmen. Es kann problemlos außerhalb der Verpackung angebracht werden. Es können Werte angegeben werden, die übergeben werden müssen, damit das Paket startet.

SSIS-Aufgabentypen

Im SSIS-Tool können Sie eine Aufgabe zur Ablaufsteuerung hinzufügen. Es gibt verschiedene Arten von Aufgaben, die unterschiedliche Arbeiten ausführen.

Nachfolgend sind einige wichtige SSIS-Aufgaben aufgeführt:

Aufgabennname	Beschreibungen
SQL-Task ausführen	Wie der Name schon sagt, führt es eine SQL-Anweisung für eine relationale Datenbank aus.
Datenflussaufgabe	Diese Aufgabe kann Daten aus einer oder mehreren Quellen lesen. Transformieren Sie die Daten, wenn sie sich im Speicher befinden, und schreiben Sie sie an ein oder mehrere Ziele.
Analysis Services-Verarbeitungsaufgabe	Verwenden Sie diese Aufgabe, um Objekte eines tabellarischen Modells oder als SSAS-Cube zu verarbeiten.
Paketaufgabe ausführen	Mit dieser SSIS-Aufgabe können Sie andere Pakete innerhalb desselben Projekts ausführen.
Prozessaufgabe ausführen	Mithilfe dieser Aufgabe können Sie Befehlszeilenparameter festlegen.
Dateisystemaufgabe	Es führt Manipulationen im Dateisystem durch. Zum Beispiel das Verschieben, Umbenennen, Löschen von Dateien und das Erstellen von Verzeichnissen.
FTP-Aufgaben	Damit können Sie grundlegende FTP-Funktionen ausführen.
Skriptaufgabe	Dies ist eine leere Aufgabe. Sie können NET-Code schreiben, der jede Aufgabe ausführt; du auftreten möchtest.
Absenden Mail Aufgabe	Sie können den Benutzern eine E-Mail senden, um sie darüber zu benachrichtigen, dass Ihr Paket fertig ist oder ein Fehler aufgetreten ist.
Masseneinfügungsaufgabe	Mithilfe des Masseneinfügungsbefehls können Daten in eine Tabelle geladen werden.
Skriptaufgabe	Führt eine Reihe von aus VB.NET oder C#-Codierung in einer Visual Studio-Umgebung.
Webdienstaufgabe	Es führt eine Methode auf einem Webdienst aus.
WMI-Ereignisüberwachungsaufgabe	Diese Aufgabe ermöglicht es dem SSIS-Paket, auf bestimmte WMI-Ereignisse zu warten und darauf zu reagieren.
XML-Aufgabe	Mit dieser Aufgabe können Sie beliebige XML-Dateien zusammenführen, teilen oder neu formatieren.

Weitere wichtige ETL-Tools

• SAP Datendienste
• SAS-Datenverwaltung
• Oracle Lagerbauer (OWB)
• PowerCenter Informatica
• IBM Infosphere-Informationsserver
• Elixier-Repertoire für Daten-ETL
• Sargent-Datenfluss

Vor- und Nachteile der Verwendung von SSIS

Das SSIS-Tool bietet folgende Vorteile:

• Umfangreiche Dokumentation und Support
• Einfache und schnelle Implementierung
• Enge Integration mit SQL Server und visuelles Studio
• Standardisierte Datenintegration
• Bietet nachrichtenbasierte Echtzeitfunktionen
• Unterstützung für das Vertriebsmodell
• Hilft Ihnen, Netzwerkengpässe beim Einfügen von Daten durch SSIS in SQL zu beseitigen
• Mit SISS können Sie das SQL Server-Ziel anstelle von OLE DB verwenden, um die Daten schneller zu laden

Nachteile von SSIS

Einige Nachteile der Verwendung von SSIS-Tools sind folgende:

• Verursacht manchmal Probleme in Nicht-Windows-Umgebungen
• Unklare Vision und Strategie
• SSIS bietet keine Unterstützung für alternative Datenintegrationsstile
• Problematische Integration mit anderen Produkten

Beispiel für bewährte SSIS-Methoden

• SSIS ist eine In-Memory-Pipeline. Deshalb ist es wichtig sicherzustellen, dass alle Transformationen im Speicher stattfinden
• Versuchen Sie, protokollierte Vorgänge zu minimieren
• Planen Sie die Kapazität, indem Sie die Ressourcennutzung verstehen
• Optimieren Sie die SQL-Lookup-Umwandlung, Datenquelle und das Ziel
• Planen und verteilen Sie es richtig

Zusammenfassung

• Die vollständige Form von SSIS ist SQL Server Integration Services
• Das SSIS-Tool hilft Ihnen, Daten aus verschiedenen Datenspeichern zusammenzuführen
• Wichtige Versionen des SQL Server Integration Service sind 2005, 2008, 2012, 2014 und 216
• Studio-Umgebungen, relevante Datenintegrationsfunktionen und effektive Implementierungsgeschwindigkeit sind einige wichtige Merkmale von SSIS
• Kontrollfluss, Datenfluss, Ereignishandler, Paket-Explorer und Parameter sind wesentliche Komponenten der SSIS-Architektur
• SQL-Aufgabe ausführen, Datenflussaufgabe, Analysis Services-Verarbeitungsaufgabe, Paketausführungsaufgabe, Prozessausführungsaufgabe, Dateisystemaufgabe, FTP-Aufgaben, Senden Mail Aufgaben und Webdienstaufgaben sind einige wichtige
• Umfangreiche Dokumentation und Support
• Der größte Nachteil von SSIS besteht darin, dass alternative Datenintegrationsstile nicht unterstützt werden
• SAP Datendienste, SAS Datenmanagement, Oracle Warehouse Builder (OWB), PowerCenter Informatica, IBM Infosphere-Informationsserver
• SSIS ist eine In-Memory-Pipeline. Daher ist es wichtig sicherzustellen, dass alle Transformationen im Speicher stattfinden