SSIS-opastus aloittelijoille: Mikä on, ArchiTecture, Paketit
Mikä on SSIS?
SQL Server Integration Service (SSIS) on osa Microsoft SQL Server tietokantaohjelmisto, jota voidaan käyttää monenlaisten tiedonsiirtotehtävien suorittamiseen. SSIS on nopea ja joustava tietovarastotyökalu, jota käytetään tiedon poimimiseen, lataamiseen ja muuntamiseen, kuten tietojen puhdistamiseen, yhdistämiseen, yhdistämiseen jne.
Sen avulla on helppo siirtää tietoja tietokannasta toiseen. SSIS voi poimia tietoja useista eri lähteistä, kuten SQL Server -tietokannoista, Excel-tiedostoista, Oracle ja DB2-tietokannat jne.
SSIS sisältää myös graafisia työkaluja ja ohjattuja toimintoja työnkulkutoimintojen, kuten sähköpostiviestien, FTP-toimintojen, tietolähteiden ja kohteiden lähettämiseen.
Miksi käytämme SSIS:ää?
Tässä ovat tärkeimmät syyt SSIS-työkalun käyttöön:
- SSIS-työkalu auttaa sinua yhdistämään tietoja eri tietovarastoista
- Automatisoi hallinnolliset toiminnot ja tietojen lataaminen
- Täyttää Data Marts & Data Warehouses
- Auttaa puhdistamaan ja standardoimaan tietoja
- BI:n rakentaminen tiedonsiirtoprosessiksi
- Hallinnollisten toimintojen ja tietojen lataamisen automatisointi
- SIS sisältää graafisen käyttöliittymän, joka auttaa käyttäjiä muuttamaan tietoja helposti suurien ohjelmien kirjoittamisen sijaan
- Se voi ladata miljoonia rivejä tietolähteestä toiseen muutamassa minuutissa
- Tietojen muutosten tunnistaminen, tallentaminen ja käsittely
- Tietojen ylläpidon, käsittelyn tai analysoinnin koordinointi
- SSIS poistaa vaativien ohjelmoijien tarpeen
- SSIS tarjoaa vankan virhe- ja tapahtumakäsittelyn
SSIS:n historia
Ennen SSIS:ää, SQL Serveriä, käytettiin Data Transformation Services (DTS) -palvelua, joka oli osa SQL Server 7:ää ja 2000:ta.
Versio | Yksityiskohta |
---|---|
SQL Server 2005 | - Microsoft tiimi päätti uudistaa DTS:n. DTS-päivityksen sijaan he päättivät kuitenkin antaa tuotteen nimeksi Integration Services (SSIS). |
SQL-palvelimen versio 2008 | SSIS:ään tehtiin paljon suorituskykyparannuksia. Myös uusia lähteitä esiteltiin. |
SQL Server 2012 | Se oli SSIS:n suurin julkaisu. Tässä versiossa esiteltiin projektin käyttöönottomallin käsite. Se sallii kokonaisia projekteja, ja niiden paketit otetaan käyttöön palvelimelle tiettyjen pakettien sijaan. |
SQL Server 2014 | Tässä versiossa SSIS:ään ei tehdä paljon muutoksia. Mutta uusia lähteitä tai muunnoksia lisättiin, mikä tehtiin erillisillä latauksilla Coden kauttaPlex tai SQL Server Feature Pack. |
SQL Server 2016:ssa | Version avulla voit ottaa käyttöön kokonaisia projekteja yksittäisten pakettien sijaan. Muita lähteitä on erityisesti pilvi, ja suuria datalähteitä ja muutamia muutoksia luetteloon tehtiin. |
SSIS:n tärkeimmät ominaisuudet
Tässä on joitain tärkeitä SSIS-perusominaisuuksia:
- Studioympäristöt
- Asiaankuuluvat tiedon integrointitoiminnot
- Tehokas toteutusnopeus
- Tiivis integraatio muiden kanssa Microsoft SQL-perhe
- Tiedonlouhintakyselyn muunnos
- Sumea haku ja ryhmittelymuunnokset
- Termin erottaminen ja termihaun muunnokset
- Nopeammat datayhteyskomponentit, kuten liitäntä SAP or Oracle
SSIS Archirakenne
Seuraavat ovat SSIS-arkkitehtuurin komponentteja:
- Ohjaa kulkua (säilöjä ja tehtäviä tallentaa)
- Tietovirta (lähde, kohde, muunnokset)
- Tapahtumakäsittelijä (viestien lähettäminen, sähköpostit)
- Package Explorer (tarjoaa yhden näkymän kaikille paketissa)
- Parametrit (käyttäjävuorovaikutus)
Ymmärretään jokainen komponentti yksityiskohtaisesti:
1. Ohjausvirtaus
Ohjausvirtaus on SSIS-paketin aivot. Se auttaa sinua järjestämään suoritusjärjestyksen kaikille sen osille. Komponentit sisältävät säilöjä ja tehtäviä, joita hallitaan prioriteettirajoitusten avulla.
2. Ensisijaisuusrajoitukset
Ensisijaisuusrajoitukset ovat paketin komponentteja, jotka ohjaavat tehtävät suoritettavaksi ennalta määritetyssä järjestyksessä. Se määrittää myös koko SSIS-paketin työnkulun. Se ohjaa kahden linkitetyn tehtävän suorittamista suorittamalla kohdetehtävät aikaisemman tehtävän tuloksen perusteella – liiketoimintasäännöillä, jotka on määritelty erityislausekkeilla.
3. Tehtävä
"Tehtävä" on yksittäinen työyksikkö. Se on sama kuin ohjelmointikielessä käytetty menetelmä/funktio. SSIS:ssä et kuitenkaan käytä koodausmenetelmiä. Sen sijaan käytät vedä ja pudota -tekniikkaa pintojen suunnitteluun ja konfigurointiin.
4. kontit
Kontti on yksiköitä tehtävien ryhmittelyyn työyksiköiksi. Sen lisäksi, että se tarjoaa visuaalisen johdonmukaisuuden, sen avulla voit myös ilmoittaa muuttujat ja tapahtumakäsittelijät, joiden tulisi kuulua kyseisen säilön piiriin.
SSIS:ssä on neljä konttityyppiä:
- Sekvenssisäiliö
- For Loop Container
- Foreach Loop Container
Sekvenssisäiliö: voit järjestää sivutehtäviä ryhmittelemällä ne ja voit käyttää tapahtumia tai määrittää lokikirjauksia säilöön.
Silmukkasäiliölle:Tarjoaa samat toiminnot kuin sekvenssisäilö, paitsi että sen avulla voit myös suorittaa tehtäviä useita kertoja. Se perustuu kuitenkin arviointiehtoon, kuten silmukaan 1:stä 100:aan.
Jokaiselle silmukkasäiliölle: Se mahdollistaa myös silmukan. Mutta erona on se, että ehtolausekkeen käyttämisen sijaan silmukka tehdään objektijoukon yli, tykkää kansiossa olevista tiedostoista.
5. Tietovirta
SSIS-työkalun pääasiallinen käyttötarkoitus on tietojen purkaminen palvelimen muistiin, sen muuntaminen ja kirjoittaminen toiseen kohteeseen. Jos Control Flow on aivot, Data Flow on SSIS:n sydän
6. SSIS-paketit
Toinen SSIS:n ydinkomponentti on paketin käsite. Se on kokoelma tehtäviä, jotka suoritetaan asianmukaisesti. Tässä presidentin rajoitukset auttavat hallitsemaan tehtävän suoritusjärjestystä.
Paketti voi auttaa sinua tallentamaan tiedostoja a SQL Server, msdb- tai pakettiluettelotietokannassa. Se voi tallentaa .dtsx-tiedostona, joka on strukturoitu tiedosto, joka on hyvin samanlainen kuin .rdl-tiedostot Reporting Services -palvelussa.
7. parametrit
Parametrit toimivat paljon kuin muuttuja, mutta muutamaa pääpoikkeusta lukuun ottamatta. Se voidaan asettaa helposti pakkauksen ulkopuolelle. Se voidaan määrittää arvoiksi, jotka on välitettävä, jotta paketti käynnistyy.
SSIS-tehtävätyypit
SSIS-työkalussa voit lisätä tehtävän kulkua ohjaamaan. On olemassa erilaisia tehtäviä, jotka suorittavat erilaisia töitä.
Joitakin tärkeitä SSIS-tehtäviä mainitaan alla:
Tehtävän nimi | Descriptionit |
---|---|
Suorita SQL-tehtävä | Kuten nimestä voi päätellä, se suorittaa SQL-käskyn relaatiotietokantaa vastaan. |
Tiedonkulkutehtävä | Tämä tehtävä voi lukea tietoja yhdestä tai useammasta lähteestä. Muunna tiedot, kun ne ovat muistissa, ja kirjoita ne yhteen tai useampaan kohteeseen. |
Analyysipalvelujen käsittelytehtävä | Tämän tehtävän avulla voit käsitellä taulukkomallin tai SSAS-kuution objekteja. |
Suorita pakettitehtävä | Use voi käyttää tätä SSIS-tehtävää muiden pakettien suorittamiseen samasta projektista. |
Suorita prosessitehtävä | Tämän tehtävän avulla voit määrittää komentorivin parametreja. |
Tiedostojärjestelmän tehtävä | Se suorittaa manipulaatioita tiedostojärjestelmässä. Kuten tiedostojen siirtäminen, uudelleennimeäminen, poistaminen ja hakemistojen luominen. |
FTP-tehtävät | Sen avulla voit suorittaa FTP:n perustoimintoja. |
Käsikirjoitustehtävä | Tämä on tyhjä tehtävä. Voit kirjoittaa NET-koodin, joka suorittaa minkä tahansa tehtävän; haluat esiintyä. |
Lähetä Mail Tehtävä | Voit lähettää käyttäjille sähköpostiviestin, että paketti on valmis tai tapahtuu virhe. |
Joukkolisäystehtävä | Use voi ladata tiedot taulukkoon käyttämällä joukkolisäyskomentoa. |
Käsikirjoitustehtävä | Suorittaa sarjan VB.NET tai C#-koodausta Visual Studio -ympäristössä. |
Verkkopalvelutehtävä | Se suorittaa menetelmän verkkopalvelussa. |
WMI Event Watcher -tehtävä | Tämän tehtävän avulla SSIS-paketti voi odottaa tiettyjä WMI-tapahtumia ja vastata niihin. |
XML-tehtävä | Tämä tehtävä auttaa sinua yhdistämään, jakamaan tai alustamaan minkä tahansa XML-tiedoston. |
Muita tärkeitä ETL-työkaluja
- SAP Tietopalvelut
- SAS-tiedonhallinta
- Oracle Varaston rakentaja (OWB)
- PowerCenter Informatica
- IBM Infosphere Information Server
- Elixir Repertuaari Data ETL:lle
- Sargent Data Flow
SSIS:n käytön edut ja haitat
SSIS-työkalu tarjoaa seuraavat edut:
- Laaja dokumentaatio ja tuki
- Toteutuksen helppous ja nopeus
- Tiivis integraatio SQL Serverin ja visuaalinen studio
- Standardoitu tietojen integrointi
- Tarjoaa reaaliaikaisia, viestipohjaisia ominaisuuksia
- Tuki jakelumallille
- Auttaa poistamaan verkon pullonkaulan SSIS:n tietojen lisäämiselle SQL:ään
- SISS antaa sinun käyttää SQL Server Destinationia OLE DB:n sijaan tietojen lataamiseksi nopeammin
SSIS:n haitat
Muutamia SSIS-työkalujen käytön haittoja ovat seuraavat:
- Joskus aiheuttaa ongelmia muissa kuin Windows-ympäristöissä
- Epäselvä visio ja strategia
- SSIS:stä puuttuu tuki vaihtoehtoisille dataintegrointityyleille
- Ongelmallinen integrointi muihin tuotteisiin
Esimerkki SSIS:n parhaista käytännöistä
- SSIS on muistissa oleva putkisto. Siksi on tärkeää varmistaa, että kaikki muunnokset tapahtuvat muistissa
- Yritä minimoida kirjatut toiminnot
- Suunnittele kapasiteetti ymmärtämällä resurssien käyttö
- Optimoi SQL-hakumuunnos, tietolähde ja kohde
- Aikatauluta ja jaa se oikein
Yhteenveto
- SSIS:n täysi muoto on SQL Server Integration Services
- SSIS-työkalu auttaa sinua yhdistämään tietoja eri tietovarastoista
- SQL Server Integration Servicen tärkeät versiot ovat 2005, 2008, 2012, 2014 ja 216
- Studio-ympäristöt, asiaankuuluvat tietojen integrointitoiminnot ja tehokas toteutusnopeus ovat joitakin tärkeitä SSIS:n ominaisuuksia
- Ohjauskulku, tiedonkulku, tapahtumakäsittelijä, pakettien hallinta ja parametrit ovat tärkeitä SSIS-arkkitehtuurikomponentteja
- Suorita SQL-tehtävä, Tiedonkulkutehtävä, Analyysipalvelujen käsittelytehtävä, Suorita pakettitehtävä, Suorita prosessitehtävä, Tiedostojärjestelmätehtävä, FTP-tehtävä, Lähetä Mail Tehtävä, Web Service Task ovat tärkeitä
- Laaja dokumentaatio ja tuki
- SSIS:n suurin haittapuoli on, että siitä puuttuu tuki vaihtoehtoisille dataintegrointityyleille
- SAP Datapalvelut, SAS Data Management, Oracle Warehouse Builder (OWB), PowerCenter Informatica, IBM Infosphere Information Server
- SSIS on muistissa oleva putkisto. Siksi on tärkeää varmistaa, että kaikki muunnokset tapahtuvat muistissa