SSIS-zelfstudie voor beginners: wat is, Archistructuur, pakketten

Wat is SSIS?

SQL Server-integratieservice (SSIS) is een onderdeel van de Microsoft SQL Server databasesoftware die kan worden gebruikt voor het uitvoeren van een breed scala aan gegevensmigratietaken. SSIS is een snelle en flexibele tool voor datawarehousing die wordt gebruikt voor het extraheren, laden en transformeren van gegevens, zoals opschonen, aggregeren, samenvoegen van gegevens, enz.

Het maakt het gemakkelijk om gegevens van de ene database naar de andere database te verplaatsen. SSIS kan gegevens extraheren uit een grote verscheidenheid aan bronnen, zoals SQL Server-databases, Excel-bestanden, Oracle en DB2-databases, enz.

SSIS bevat ook grafische hulpmiddelen en wizards voor het uitvoeren van workflowfuncties, zoals het verzenden van e-mailberichten, FTP-bewerkingen, gegevensbronnen en bestemmingen.

Waarom gebruiken wij SSIS?

Hier volgen de belangrijkste redenen om de SSIS-tool te gebruiken:

  • Met de SSIS-tool kunt u gegevens uit verschillende datastores samenvoegen
  • Automatiseert administratieve functies en het laden van gegevens
  • Vult datamarts en datawarehouses in
  • Helpt u bij het opschonen en standaardiseren van gegevens
  • BI inbouwen in een datatransformatieproces
  • Automatisering van administratieve functies en het laden van gegevens
  • SIS bevat een GUI waarmee gebruikers gegevens eenvoudig kunnen transformeren in plaats van grote programma's te schrijven
  • Het kan binnen enkele minuten miljoenen rijen van de ene gegevensbron naar de andere laden
  • Identificeren, vastleggen en verwerken van gegevenswijzigingen
  • Coördineren van het onderhoud, de verwerking of de analyse van gegevens
  • SSIS elimineert de noodzaak van hardcore programmeurs
  • SSIS biedt robuuste fout- en gebeurtenisafhandeling

Geschiedenis van SSIS

Voorafgaand aan SSIS werd SQL Server, Data Transformation Services (DTS) gebruikt, dat deel uitmaakte van SQL Server 7 en 2000

Versie Detail
SQL Server 2005 De Microsoft team besloot DTS te vernieuwen. In plaats van DTS bij te werken, besloten ze echter het product Integration Services (SSIS) te noemen.
2008 SQL-serverversie Er zijn veel prestatieverbeteringen aangebracht in SSIS. Er werden ook nieuwe bronnen geïntroduceerd.
SQL Server 2012 Het was de grootste release voor SSIS. Met deze versie werd het concept van het project-implementatiemodel geïntroduceerd. Het maakt het mogelijk om hele projecten en hun pakketten te implementeren op een server, in plaats van specifieke pakketten.
SQL Server 2014 In deze versie zijn er niet veel wijzigingen aangebracht voor SSIS. Maar er werden nieuwe bronnen of transformaties toegevoegd, wat gebeurde door afzonderlijke downloads via CodePlex of het SQL Server Feature Pack.
In SQLServer 2016 Met deze versie kunt u hele projecten implementeren in plaats van afzonderlijke pakketten. Er zijn aanvullende bronnen, vooral cloud- en big data-bronnen, en er zijn weinig wijzigingen aangebracht in de catalogus.

Opvallende kenmerken van SSIS

Hier volgen enkele belangrijke basisfuncties van SSIS:

  • Studio-omgevingen
  • Relevante data-integratiefuncties
  • Effectieve implementatiesnelheid
  • Nauwe integratie met andere Microsoft SQL-familie
  • Transformatie van dataminingquery's
  • Fuzzy lookup en groeperingstransformaties
  • Termextractie en termopzoektransformaties
  • Componenten voor dataconnectiviteit met hogere snelheid, zoals connectiviteit met SAP or Oracle

SSIS Architectuur

SSIS Architectuur
SSIS Architectuur

Hieronder staan ​​de componenten van de SSIS-architectuur:

  • Controlestroom (slaat containers en taken op)
  • Gegevensstroom (bron, bestemming, transformaties)
  • Event Handler (verzenden van berichten, e-mails)
  • Pakketverkenner (biedt één weergave voor alles in het pakket)
  • Parameters (gebruikersinteractie)

Laten we elk onderdeel in detail begrijpen:

1. Controlestroom

Controlestroom is een brein van het SSIS-pakket. Het helpt u bij het regelen van de uitvoeringsvolgorde voor al zijn componenten. De componenten bevatten containers en taken die worden beheerd door prioriteitsbeperkingen.

2. Prioriteitsbeperkingen

Voorrangsbeperking is een pakketcomponent die ervoor zorgt dat taken in een vooraf gedefinieerde volgorde worden uitgevoerd. Het definieert ook de workflow van het gehele SSIS-pakket. Het bestuurt de uitvoering van de twee gekoppelde taken door de doeltaken uit te voeren op basis van het resultaat van de eerdere taak: bedrijfsregels die zijn gedefinieerd met behulp van speciale expressies.

3. Taak

Een 'Taak' is een individuele werkeenheid. Het is hetzelfde als een methode/functie die in een programmeertaal wordt gebruikt. In SSIS gebruikt u echter geen codeermethoden. In plaats daarvan gebruikt u de drag & drop-techniek om oppervlakken te ontwerpen en te configureren.

4. containers

De container bestaat uit eenheden waarmee taken kunnen worden gegroepeerd in werkeenheden. Naast het bieden van visuele consistentie, kunt u hiermee ook variabelen en gebeurtenishandlers declareren die binnen het bereik van die specifieke container moeten vallen.

Vier soorten containers in SSIS zijn:

  • Een sequentiecontainer
  • Een For Loop-container
  • Foreach Loop-container

Sequentiecontainer: hiermee kunt u subtaken organiseren door ze te groeperen, en kunt u transacties toepassen of logboekregistratie aan de container toewijzen.

Voor luscontainer:Biedt dezelfde functionaliteit als de reekscontainer, behalve dat u de taken ook meerdere keren kunt uitvoeren. Het is echter gebaseerd op een evaluatievoorwaarde, zoals een lus van 1 naar 100.

Voor elke luscontainer: Het maakt ook looping mogelijk. Maar het verschil is dat in plaats van een voorwaarde-expressie te gebruiken, een lus over een reeks objecten wordt uitgevoerd, bestanden in een map leuk vinden.

5. Gegevensstroom

Het belangrijkste gebruik van de SSIS-tool is het extraheren van gegevens in het geheugen van de server, het transformeren ervan en het schrijven naar een andere bestemming. Als Control Flow het brein is, is Data Flow het hart van SSIS

6. SSIS-pakketten

Een ander kernonderdeel van SSIS is het idee van een pakket. Het is een verzameling taken die op een ordelijke manier worden uitgevoerd. Hierbij helpen president constraints bij het beheren van de volgorde waarin de taak wordt uitgevoerd.

Een pakket kan u helpen bestanden op te slaan op een SQL Server, in de msdb- of pakketcatalogusdatabase. Het kan worden opgeslagen als een .dtsx-bestand, een gestructureerd bestand dat sterk lijkt op .rdl-bestanden voor Reporting Services.

SSIS-pakketten

7. parameters

Parameters gedragen zich ongeveer als een variabele, maar met een paar belangrijke uitzonderingen. Hij kan eenvoudig buiten de verpakking worden geplaatst. Het kan worden aangewezen als waarden die moeten worden doorgegeven voordat het pakket kan starten.

Typen SSIS-taken

In de SSIS-tool kunt u een taak toevoegen om de stroom te controleren. Er zijn verschillende soorten taken die verschillende soorten werken uitvoeren.

Enkele belangrijke SSIS-taken worden hieronder vermeld:

Opdrachtnaam Descriptionen
Voer SQL-taak uit Zoals de naam al doet vermoeden, zal het een SQL-instructie uitvoeren op een relationele database.
Gegevensstroomtaak Met deze taak kunnen gegevens uit een of meer bronnen worden gelezen. Transformeer de gegevens wanneer deze zich in het geheugen bevinden en schrijf deze uit naar een of meer bestemmingen.
Analyse Services-verwerkingstaak Gebruik deze taak om objecten van een tabellair model of als SSAS-kubus te verwerken.
Voer de pakkettaak uit Gebruik kan deze SSIS-taak gebruiken om andere pakketten uit te voeren vanuit hetzelfde project.
Voer procestaak uit Met behulp van deze taak kunt u opdrachtregelparameters opgeven.
Bestandssysteemtaak Het voert manipulaties uit in het bestandssysteem. Zoals het verplaatsen, hernoemen, verwijderen van bestanden en het maken van mappen.
FTP-taken Hiermee kunt u basis FTP-functionaliteiten uitvoeren.
Scripttaak Dit is een blanco taak. U kunt NET-code schrijven die elke taak uitvoert; je wilt optreden.
stuur Mail Taak U kunt een e-mail sturen naar gebruikers om hen te laten weten dat uw pakket is voltooid of dat er een fout is opgetreden.
Bulkinvoegtaak Use kan gegevens in een tabel laden met behulp van de opdracht Bulk Insert.
Scripttaak Voert een set uit VB.NET of C#-codering in een Visual Studio-omgeving.
Webservicetaak Het voert een methode uit op een webservice.
WMI Event Watcher-taak Met deze taak kan het SSIS-pakket wachten op en reageren op bepaalde WMI-gebeurtenissen.
XML-taak Met deze taak kunt u elk XML-bestand samenvoegen, splitsen of opnieuw formatteren.

Andere belangrijke ETL-tools

  • SAP Gegevensdiensten
  • SAS-gegevensbeheer
  • Oracle Magazijnbouwer (OWB)
  • PowerCenter Informatica
  • IBM Infosphere-informatieserver
  • Elixir-repertoire voor data-ETL
  • Sargent-gegevensstroom

Voor- en nadelen van het gebruik van SSIS

De SSIS-tool biedt de volgende voordelen:

  • Brede documentatie en ondersteuning
  • Gemak en snelheid van implementatie
  • Nauwe integratie met SQL Server en visuele studio
  • Gestandaardiseerde data-integratie
  • Biedt realtime, op berichten gebaseerde mogelijkheden
  • Ondersteuning voor distributiemodel
  • Helpt u bij het verwijderen van het netwerk als knelpunt voor het invoegen van gegevens door SSIS in SQL
  • Met SISS kunt u de SQL Server Destination gebruiken in plaats van OLE DB om de gegevens sneller te laden

Nadelen van SSIS

Enkele nadelen van het gebruik van SSIS-tools zijn als volgt:

  • Soms ontstaan ​​er problemen in niet-Windows-omgevingen
  • Onduidelijke visie en strategie
  • SSIS ontbeert ondersteuning voor alternatieve stijlen voor gegevensintegratie
  • Problematische integratie met andere producten

Voorbeeld van SSIS-best practices

  • SSIS is een pijplijn in het geheugen. Daarom is het belangrijk ervoor te zorgen dat alle transformaties in het geheugen plaatsvinden
  • Probeer het aantal geregistreerde bewerkingen te minimaliseren
  • Plan capaciteit door inzicht te krijgen in het gebruik van hulpbronnen
  • Optimaliseer de SQL-opzoektransformatie, gegevensbron en bestemming
  • Plan en distribueer het correct

Samenvatting

  • De volledige vorm van SSIS is SQL Server Integration Services
  • Met de SSIS-tool kunt u gegevens uit verschillende datastores samenvoegen
  • Belangrijke versies van SQL Server Integration Service zijn 2005, 2008, 2012, 2014 en 216
  • Studio-omgevingen, relevante gegevensintegratiefuncties en effectieve implementatiesnelheid zijn enkele belangrijke kenmerken van SSIS
  • Control Flow, Data Flow, Event Handler, Package Explorer en Parameters zijn essentiële SSIS-architectuurcomponenten
  • SQL-taak uitvoeren, gegevensstroomtaak, analyseservicesverwerkingstaak, pakkettaak uitvoeren, procestaak uitvoeren, bestandssysteemtaak, FTP-taken, verzenden Mail Taak en webservicetaak zijn enkele belangrijke
  • Brede documentatie en ondersteuning
  • Het grootste nadeel van SSIS is dat het geen ondersteuning biedt voor alternatieve stijlen voor gegevensintegratie
  • SAP Datadiensten, SAS-gegevensbeheer, Oracle Magazijnbouwer (OWB), PowerCenter Informatica, IBM Infosphere-informatieserver
  • SSIS is een pijplijn in het geheugen. Daarom is het essentieel om ervoor te zorgen dat alle transformaties in het geheugen plaatsvinden