SSIS-opetusohjelma aloittelijoille: Archirakenne, paketit ja komponentit

Mikä on SSIS?

SQL Server Integration Services (SSIS) on osa Microsoft SQL Server tietokantaohjelmisto, jota voidaan käyttää monenlaisten tiedonsiirtotehtävien suorittamiseen. SSIS on nopea ja joustava tietovarastointi työkalu, jota käytetään dataesimerkissätractiedon käsittely, lataus ja muuntaminen, kuten tiedon puhdistaminen, kokoaminen ja yhdistäminen.

Se helpottaa tietojen siirtämistä tietokannasta toiseen. SSIS voi esim.tractietoja monista eri lähteistä, kuten SQL Server -tietokannoista, Excel-tiedostoista, Oracle ja DB2-tietokantoja ja paljon muuta.

SSIS sisältää myös graafisia työkaluja ja ohjattuja toimintoja työnkulkutoimintojen, kuten sähköpostiviestien lähettämisen, FTP-toimintojen sekä tietolähteiden ja -kohteiden määrittämisen, suorittamiseen.

Miksi käytämme SSIS:ää?

Tässä ovat tärkeimmät syyt SSIS-työkalun käyttöön:

• SSIS auttaa yhdistämään tietoja eri tietovarastoista.
• Se automatisoi hallinnolliset toiminnot ja tietojen latauksen.
• Se täyttää tietomartteja ja tietovarastoja.
• Se auttaa sinua puhdistamaan ja standardoimaan dataa.
• Se rakentaa liiketoimintatiedon osaksi datan muuntamisprosessia.
• SSIS sisältää graafisen käyttöliittymän, joka auttaa käyttäjiä muuntamaan tietoja helposti sen sijaan, että he kirjoittaisivat suuria ohjelmia.
• Se voi ladata miljoonia rivejä yhdestä tietolähteestä toiseen hyvin muutamassa minuutissa.
• Se tunnistaa, tallentaa ja käsittelee datan muutoksia.
• Se koordinoi tietojen ylläpitoa, käsittelyä ja analysointia.
• SSIS poistaa kokeneiden ohjelmoijien tarpeen.
• SSIS tarjoaa vankan virheiden ja tapahtumien käsittelyn.

SSIS:n historia

Ennen SSIS:iä käytettiin SQL Server Data Transformation Servicesiä (DTS), joka oli osa SQL Server 7:ää ja 2000:ta. Alla oleva taulukko tracmiten kukin SQL Server -julkaisu muokkasi työkalua:

Versio	Yksityiskohta
SQL Server 2005	Microsoft tiimi päätti uudistaa DTS:n. DTS:n päivittämisen sijaan he kuitenkin päättivät nimetä tuotteen Integration Servicesiksi (SSIS).
SQL Server 2008	SSIS:ään tehtiin paljon suorituskykyparannuksia. Myös uusia lähteitä esiteltiin.
SQL Server 2012	Se oli SSIS:n suurin julkaisu. Tässä versiossa esiteltiin projektien käyttöönottomalli. Sen avulla kokonaisia ​​projekteja ja niiden paketteja voidaan ottaa käyttöön palvelimella tiettyjen pakettien sijaan.
SQL Server 2014	Tässä versiossa SSIS:ään ei tehty paljon muutoksia. Mutta uusia lähteitä ja muunnoksia lisättiin, ja ne tehtiin erillisillä latauksilla sivuston kautta. CodePlex tai SQL Server Feature Pack.
SQL Server 2016	Lisättiin inkrementaalinen pakettien käyttöönotto, jotta yksittäisiä paketteja voitiin siirtää olemassa olevaan projektiin. SSISDB-luettelo sai Always On -saatavuusryhmien tuen, mukautetut lokikirjaustasot ja virhesarakkeiden nimet. Lisää pilvi- ja big data -lähteitä saapui... Azure Ominaisuuspaketti.
SQL Server 2017	Esiteltiin skaalaus, joka hajauttaa pakettien suorituksen useille työkoneille, joita hallitaan yhdestä pääkoneesta. SSIS voitiin myös ensimmäistä kertaa toimia Linuxissa, ja paketit voitiin ottaa käyttöön SSISDB:ssä. Azure SQL-tietokanta ja suoritettu Azure-SSIS-integraation suoritusympäristö Azure Tietotehdas.
SQL Server 2019	Hiljainen julkaisu, joka keskittyi pilvitiedostojen käsittelyyn. Joustavat tiedostotehtävät ja joustava tiedostolähde/kohde helpottivat tiedostojen käsittelyä pilvipalvelussa. Azure tallennustilaa, mukaan lukien Avro-, ORC- ja Parquet-muodot (nämä vaativat Java ajonaikainen).
SQL Server 2022	Ei käytännössä uusia SSIS-ominaisuuksia. Moottoria ei muutettu, mutta Microsoftdataintegraatioinvestoinnit siirtyivät kohti Azure Data Factory ja myöhemmin Microsoft Kangas.
SQL Server 2025	Julkaistu klo Microsoft Ignite marraskuussa 2025. Tärkein lisäys on modernin pohjalta rakennettu ADO.NET-yhteydenhallintaohjelma. Microsoft.Data.SqlClient-palveluntarjoaja, joka tuo mukanaan TLS 1.3:n ja Microsoft Entra ID -todennus. Tämä julkaisu poistaa tai vanhentaa myös monia ominaisuuksia: Attunity CDC -komponentit, Hadoop-tehtävät, SSIS-pakettisäilön, vanhan Integration Services -palvelun ja 32-bittisen suoritustilan.

SSIS:n tärkeimmät ominaisuudet

Tässä on joitakin tärkeitä SSIS-ominaisuuksia:

• Studioympäristöt
• Asiaankuuluvat tiedon integrointitoiminnot
• Tehokas toteutusnopeus
• Tiivis integraatio muiden kanssa Microsoft SQL-perhe
• Tiedonlouhintakyselyn muunnos
• Sumea haku ja ryhmäping muunnokset
• Term Extraction ja Term Lookup -muunnokset
• Nopeammat datayhteydet, kuten yhteys SAP or Oracle

SSIS Archirakenne

Alla oleva kaavio näyttää, miten SSIS:n tärkeimmät komponentit sopivat yhteen ohjausvirrasta parametreihin asti:

Seuraavat ovat SSIS-arkkitehtuurin komponentit:

• Control Flow (tallentaa säilöt ja tehtävät)
• Tietovirta (lähde, kohde, muunnokset)
• Tapahtumankäsittelijä (viestien, sähköpostien lähettäminen)
• Pakettiselaimessa (tarjoaa yhden näkymän paketin kaikelle sisällölle)
• Parametrit (käyttäjän vuorovaikutus)

Ymmärrämme jokaisen komponentin yksityiskohtaisesti:

1. Ohjausvirtaus

Control Flow on SSIS-paketin aivot. Se auttaa sinua järjestämään kaikkien sen komponenttien suoritusjärjestyksen. Komponentit sisältävät säilöjä ja tehtäviä, joita hallitaan prioriteettirajoituksilla.

2. Ensisijaisuusrajoitukset

Precedenssirajoitteet ovat paketin komponentteja, jotka ohjaavat tehtäviä suoritettavaksi ennalta määritetyssä järjestyksessä. Ne määrittelevät myös koko SSIS-paketin työnkulun. Precedenssirajoite ohjaa kahden linkitetyn tehtävän suorittamista suorittamalla kohdetehtävän aiemman tehtävän tuloksen perusteella – liiketoimintasäännöt, jotka määritellään erityislausekkeilla.

3. Tehtävä

'Tehtävä' on yksittäinen työyksikkö. Se on sama kuin ohjelmointikielessä käytetty metodi tai funktio. SSIS:ssä ei kuitenkaan käytetä koodausmetodeja. Sen sijaan ne konfiguroidaan vetämällä ja pudottamalla suunnittelualustalla.

4. kontit

Säiliö on maanpinnan yksikköping tehtävät yhteen työyksiköiksi. Visuaalisen yhtenäisyyden lisäksi se mahdollistaa myös muuttujien ja tapahtumankäsittelijöiden määrittämisen, joiden tulisi olla kyseisen säilön laajuudessa.

SSIS:ssä on kolme säilötyyppiä:

• Sekvenssisäiliö
• Silmukkasäiliölle
• Foreach Loop Container

Sekvenssisäiliö: voit järjestää aputehtävät ryhmittäinping niitä, ja voit kohdistaa tapahtumia tai määrittää lokikirjauksen säilölle.

Silmukkasäiliölle: tarjoaa saman toiminnallisuuden kuin Sequence Container, paitsi että se antaa sinun suorittaa tehtäviä useita kertoja. Se perustuu kuitenkin arviointiehtoon, kuten looping alkaen 1 ja 100.

Foreach-silmukan säilö: sallii myös vessanpingEro on siinä, että ehtolausekkeen sijaan looping tehdään joukolle objekteja, kuten kansiossa olevia tiedostoja.

5. Tietovirta

SSIS-työkalun pääasiallinen käyttötarkoitus on extractallentaa tiedot palvelimen muistiin, muuntaa ne ja kirjoittaa ne toiseen kohteeseen. Jos Control Flow on SSIS:n aivot, Data Flow on sen sydän.

6. SSIS-paketit

Toinen SSIS:n ydinosa on paketin käsite. Se on kokoelma tehtäviä, jotka suoritetaan järjestelmällisesti. Tässä prioriteettirajoitukset auttavat hallitsemaan tehtävien suoritusjärjestystä.

Paketti voi tallentaa tiedostoja SQL Serverille msdb- tai pakettiluettelotietokantaan. Se voidaan tallentaa .dtsx-tiedostona, joka on jäsennelty tiedosto, joka on hyvin samankaltainen kuin .rdl-tiedostot liittyvät... RaportointipalvelutAlla olevassa kuvassa näkyy SSIS-paketti, joka on tallennettu .dtsx-tiedostona:

7. parametrit

Parametrit toimivat paljolti samalla tavalla kuin muuttujat, mutta muutamalla tärkeällä poikkeuksella. Parametri voidaan asettaa helposti paketin ulkopuolella. Se voidaan määrittää arvoksi, joka on annettava, jotta paketti käynnistyy.

SSIS-tehtävätyypit

SSIS-työkalussa voit lisätä tehtävän ohjaustyönkulkuun. Tehtäviä on erityyppisiä, jotka suorittavat erilaisia ​​töitä. Joitakin tärkeitä SSIS-tehtäviä on lueteltu alla:

Tehtävän nimi	Tuotetiedot
Suorita SQL-tehtävä	Kuten nimestä voi päätellä, se suorittaa SQL-lausekkeen relaatiotietokantaa vastaan.
Tiedonkulkutehtävä	Tämä tehtävä voi lukea tietoja yhdestä tai useammasta lähteestä, muuntaa tietoja niiden ollessa muistissa ja kirjoittaa ne yhteen tai useampaan kohteeseen.
Analyysipalvelujen käsittelytehtävä	Käytä tätä tehtävää taulukkomallin tai SSAS-kuution objektien käsittelyyn.
Suorita pakettitehtävä	Voit käyttää tätä SSIS-tehtävää muiden saman projektin pakettien suorittamiseen.
Suorita prosessitehtävä	Tämän tehtävän avulla voit määrittää komentoriviparametreja.
Tiedostojärjestelmän tehtävä	Se suorittaa tiedostojärjestelmän manipulointeja, kuten tiedostojen siirtämistä, uudelleennimeämistä ja poistamista sekä hakemistojen luomista.
FTP-tehtävä	Sen avulla voit suorittaa FTP:n perustoimintoja.
Käsikirjoitustehtävä	Tämä on tyhjä tehtävä. Voit kirjoittaa .NET-koodia, joka suorittaa minkä tahansa haluamasi tehtävän.
Lähetä Mail Tehtävä	Voit lähettää sähköpostia ilmoittaaksesi käyttäjille, että pakettisi on valmis tai että on tapahtunut virhe.
Joukkolisäystehtävä	Voit ladata tietoja taulukkoon käyttämällä bulk insert -komentoa.
Käsikirjoitustehtävä	Suorittaa sarjan VB.NET tai C#-koodia Visual Studio ympäristöön.
Verkkopalvelutehtävä	Se suorittaa menetelmän verkkopalvelussa.
WMI Event Watcher -tehtävä	Tämän tehtävän avulla SSIS-paketti voi odottaa tiettyjä WMI-tapahtumia ja vastata niihin.
XML-tehtävä	Tämä tehtävä auttaa sinua yhdistämään, jakamaan tai muotoilemaan uudelleen minkä tahansa XML-tiedoston.

Muita tärkeitä ETL-työkaluja

SSIS on yksi monista entisistätract-muunnos-latausalustat. Muita tärkeitä ETL-työkaluja ovat:

• SAP Tietopalvelut
• SAS-tiedonhallinta
• Oracle Varaston rakentaja (OWB)
• PowerCenter Informatica
• IBM InfoSphere-tietopalvelin
• Elixir Repertuaari Data ETL:lle
• Sagent-tietovirta

SSIS:n käytön edut

SSIS-työkalu tarjoaa seuraavat edut:

• Laaja dokumentaatio ja tuki
• Toteutuksen helppous ja nopeus
• Tiivis integrointi SQL Serverin ja Visual Studion kanssa
• Standardoitu tietojen integrointi
• Tarjoaa reaaliaikaisia, viestipohjaisia ​​ominaisuuksia
• Tuki jakelumallille
• Auttaa poistamaan verkon pullonkaulana SSIS:n tietojen syöttämiselle SQL Serveriin
• Mahdollistaa SQL Server -kohteen käytön OLE DB:n sijaan, mikä nopeuttaa tietojen lataamista.

SSIS:n haitat

SSIS-työkalun käytössä on muutamia haittoja:

• Se aiheuttaa joskus ongelmia muissa kuinWindows ympäristöissä.
• Epäselvä visio ja strategia.
• SSIS:stä puuttuu tuki vaihtoehtoisille dataintegraatiotyyleille.
• Ongelmallinen integrointi joidenkin muiden tuotteiden kanssa.

Esimerkki SSIS:n parhaista käytännöistä

Muutaman parhaiden käytäntöjen soveltaminen pitää SSIS-paketit nopeina ja ylläpidettävinä:

• SSIS on muistissa tapahtuva prosessi, joten on tärkeää varmistaa, että kaikki muunnokset tapahtuvat muistissa.
• Pyri minimoimaan lokikirjatut toiminnot.
• Suunnittele kapasiteettia ymmärtämällä resurssien käyttöastetta.
• Optimoi SQL-hakumuunnos, tietolähde ja kohde.
• Aikatauluta ja jaa se oikein.

UKK