SSIS-i õpetus algajatele: mis on Architektuur, paketid
Mis on SSIS?
SQL Serveri integratsiooniteenus (SSIS) on komponent Microsoft SQL Server andmebaasitarkvara, mida saab kasutada mitmesuguste andmete migratsiooniülesannete täitmiseks. SSIS on kiire ja paindlik andmehoidla tööriist, mida kasutatakse andmete ekstraheerimiseks, laadimiseks ja teisendamiseks, näiteks andmete puhastamiseks, koondamiseks, ühendamiseks jne.
See hõlbustab andmete teisaldamist ühest andmebaasist teise. SSIS saab eraldada andmeid paljudest erinevatest allikatest, nagu SQL Serveri andmebaasid, Exceli failid, Oracle ja DB2 andmebaasid jne.
SSIS sisaldab ka graafilisi tööriistu ja viisardeid töövoofunktsioonide täitmiseks, nagu meilisõnumite saatmine, FTP-toimingud, andmeallikad ja sihtkohad.
Miks me SSIS-i kasutame?
Siin on peamised põhjused SSIS-i tööriista kasutamiseks.
- SSIS-tööriist aitab teil liita andmeid erinevatest andmesalvedest
- Automatiseerib haldusfunktsioone ja andmete laadimist
- Täidab Data Marts & Data Warehouses
- Aitab teil andmeid puhastada ja standardida
- BI loomine andmete teisendusprotsessiks
- Haldusfunktsioonide ja andmete laadimise automatiseerimine
- SIS sisaldab GUI-d, mis aitab kasutajatel andmeid hõlpsalt teisendada, mitte kirjutada suuri programme
- See võib mõne minutiga laadida miljoneid ridu ühest andmeallikast teise
- Andmemuudatuste tuvastamine, jäädvustamine ja töötlemine
- Andmete hoolduse, töötlemise või analüüsi koordineerimine
- SSIS välistab vajaduse hardcore programmeerijate järele
- SSIS pakub tugevat vigade ja sündmuste käsitlemist
SSIS-i ajalugu
Enne SSIS-i kasutati SQL Serverit Data Transformation Services (DTS), mis oli osa SQL Server 7 ja 2000.
versioon | detail |
---|---|
SQL Server 2005 | . Microsoft meeskond otsustas DTS-i uuendada. DTS-i värskendamise asemel otsustasid nad aga toote nimeks panna integratsiooniteenused (SSIS). |
SQL serveri versioon 2008 | SSIS-ile tehti palju jõudluse täiustusi. Samuti tutvustati uusi allikaid. |
SQL Server 2012 | See oli SSIS-i suurim väljalase. Selle versiooniga tutvustati projekti juurutamise mudeli kontseptsiooni. See võimaldab terveid projekte ja nende paketid juurutatakse serverisse konkreetsete pakettide asemel. |
SQL Server 2014 | Selles versioonis ei tehta SSIS-i jaoks palju muudatusi. Kuid lisati uusi allikaid või teisendusi, mis tehti koodi kaudu eraldi allalaadimisegaPlex või SQL Serveri funktsioonipakett. |
SQL Server 2016-s | Versioon võimaldab teil juurutada üksikute pakettide asemel terveid projekte. Seal on täiendavaid allikaid, eriti pilve, ja suuri andmeallikaid ning kataloogis tehti vähe muudatusi. |
SSIS-i silmapaistvad omadused
Siin on mõned olulised SSIS-i põhifunktsioonid.
- Stuudiokeskkonnad
- Asjakohased andmete integreerimise funktsioonid
- Efektiivne rakendamise kiirus
- Tihe integratsioon teistega Microsoft SQL perekond
- Andmekaeve päringu teisendamine
- Hägusotsing ja teisenduste rühmitamine
- Terminite ekstraheerimine ja terminiotsingu teisendused
- Kiiremad andmeühenduse komponendid, näiteks ühenduvus SAP or Oracle
SSIS Architektuur
Järgmised on SSIS-i arhitektuuri komponendid:
- Voo juhtimine (salvestab konteinereid ja ülesandeid)
- Andmevoog (allikas, sihtkoht, teisendused)
- Sündmuste töötleja (sõnumite, meilide saatmine)
- Package Explorer (pakub ühte vaadet kõigile pakendis olevatele)
- Parameetrid (kasutaja interaktsioon)
Mõistame iga komponenti üksikasjalikult:
1. Juhtvoogu
Juhtvoog on SSIS-i paketi aju. See aitab teil korraldada kõigi selle komponentide täitmise järjekorda. Komponendid sisaldavad konteinereid ja ülesandeid, mida hallatakse prioriteetsuse piirangutega.
2. Tähtsuspiirangud
Tähtsuspiirangud on paketikomponendid, mis suunavad ülesandeid täitma etteantud järjekorras. See määratleb ka kogu SSIS-i paketi töövoo. See juhib kahe lingitud ülesande täitmist, täites sihtülesandeid, mis põhinevad varasema ülesande tulemusel – ärireeglitel, mis on määratletud spetsiaalsete avaldiste abil.
3. Ülesanne
"Ülesanne" on individuaalne tööüksus. See on sama mis programmeerimiskeeles kasutatav meetod/funktsioon. SSIS-is te aga kodeerimismeetodeid ei kasuta. Selle asemel kasutate pindade kujundamiseks ja konfigureerimiseks lohistamistehnikat.
4. Konteinerid
Konteiner on üksused ülesannete rühmitamiseks tööühikuteks. Lisaks visuaalse järjepidevuse pakkumisele võimaldab see deklareerida ka muutujaid ja sündmuste käitlejaid, mis peaksid kuuluma selle konkreetse konteineri ulatusse.
SSIS-is on neli tüüpi konteinereid:
- Järjestuskonteiner
- A For Loop Container
- Foreach Loop Container
Järjestuskonteiner: võimaldab korraldada abiülesandeid nende rühmitamise teel ja võimaldab teil rakendada tehinguid või määrata konteinerile logimist.
Silmuskonteineri jaoks:Pakub samu funktsioone kui järjestuskonteiner, välja arvatud see, et see võimaldab teil ka ülesandeid mitu korda käivitada. See põhineb aga hindamistingimusel, näiteks silmusel 1–100.
Iga loop konteineri jaoks: See võimaldab ka loopimist. Kuid erinevus seisneb selles, et tingimusavaldise kasutamise asemel silmus tehakse objektide komplekti kohal, meeldivad failid kaustas.
5. Andmevoog
SSIS-i tööriista peamine kasutusala on andmete eraldamine serveri mällu, nende teisendamine ja teise sihtkohta kirjutamine. Kui Control Flow on aju, on andmevoog SSIS-i süda
6. SSIS-i paketid
Teine SSIS-i põhikomponent on paketi mõiste. See on ülesannete kogum, mida täidetakse korrapäraselt. Siin aitavad presidendi piirangud hallata ülesande täitmise järjekorda.
Pakett aitab teil faile salvestada a SQL Server, msdb või paketikataloogi andmebaasis. Seda saab salvestada .dtsx-failina, mis on struktureeritud fail, mis on väga sarnane aruandlusteenustega .rdl-failidele.
7. Parameetrid
Parameetrid käituvad paljuski nagu muutujad, kuid mõne peamise erandiga. Seda saab hõlpsasti pakendist väljapoole seada. Seda saab määrata väärtustena, mis tuleb paketi käivitamiseks edastada.
SSIS-i ülesannete tüübid
SSIS-i tööriistas saate voo juhtimiseks lisada ülesande. On erinevat tüüpi ülesandeid, mis täidavad erinevaid töid.
Mõned olulised SSIS-i ülesanded on mainitud allpool:
Ülesande nimi | Descriptioone |
---|---|
Käivitage SQL-i ülesanne | Nagu nimigi ütleb, käivitab see relatsiooniandmebaasi vastu SQL-lause. |
Andmevoo ülesanne | See ülesanne saab lugeda andmeid ühest või mitmest allikast. Teisendage andmed, kui need on mälus, ja kirjutage need välja ühe või mitme sihtkoha vastu. |
Analüüsiteenuste töötlemise ülesanne | Kasutage seda ülesannet tabelimudeli või SSAS-i kuubiku objektide töötlemiseks. |
Käivitage paketiülesanne | Kasutamine võib seda SSIS-i ülesannet kasutada samas projektis teiste pakettide käivitamiseks. |
Käivitage protsessiülesanne | Selle ülesande abil saate määrata käsurea parameetreid. |
Failisüsteemi ülesanne | See teeb failisüsteemis manipuleerimisi. Nagu failide teisaldamine, ümbernimetamine, kustutamine ja kataloogide loomine. |
FTP ülesanded | See võimaldab teil täita põhilisi FTP-funktsioone. |
Skripti ülesanne | See on tühi ülesanne. Saate kirjutada NET-koodi, mis täidab mis tahes ülesannet; soovid esineda. |
Saada Mail Ülesanne | Saate saata kasutajatele meili, teatades, et teie pakett on lõppenud või ilmneb mõni tõrge. |
Hulgiülesanne | Kasutamine laadib andmed tabelisse, kasutades hulgi sisestamise käsku. |
Skripti ülesanne | Käitab komplekti VB.NET või C# kodeerimine Visual Studio keskkonnas. |
Veebiteenuse ülesanne | See käivitab meetodi veebiteenuses. |
WMI sündmuste jälgija ülesanne | See ülesanne võimaldab SSIS-i paketil oodata teatud WMI-sündmusi ja neile vastata. |
XML-ülesanne | See ülesanne aitab teil mis tahes XML-faili liita, tükeldada või ümber vormindada. |
Muud olulised ETL-tööriistad
- SAP Data Services
- SASi andmehaldus
- Oracle Laoehitaja (OWB)
- PowerCenter Informatika
- IBM Infosfääri teabeserver
- Eliksiir Repertuaar Data ETL-ile
- Sargenti andmevoog
SSIS-i kasutamise eelised ja puudused
SSIS-tööriist pakub järgmisi eeliseid:
- Lai dokumentatsioon ja tugi
- Rakendamise lihtsus ja kiirus
- Tihe integratsioon SQL Serveriga ja visuaalne stuudio
- Standardiseeritud andmete integreerimine
- Pakub reaalajas sõnumipõhiseid võimalusi
- Jaotusmudeli tugi
- Aitab teil eemaldada võrgu kui kitsaskoha SSIS-i andmete sisestamisel SQL-i
- SISS võimaldab andmete kiiremaks laadimiseks kasutada OLE DB asemel SQL Serveri sihtkohta
SSIS-i puudused
SSIS-i tööriistade kasutamise mõned puudused on järgmised:
- Mõnikord tekitab probleeme mitte-aknakeskkondades
- Ebaselge visioon ja strateegia
- SSIS-il puudub alternatiivsete andmete integreerimise stiilide tugi
- Probleemne integreerimine teiste toodetega
SSIS-i parimate tavade näide
- SSIS on mälusisene torujuhe. Seetõttu on oluline jälgida, et kõik teisendused toimuksid mälus
- Proovige logitud toiminguid minimeerida
- Planeerige võimsust, mõistes ressursside kasutamist
- Optimeerige SQL-i otsingu teisendust, andmeallikat ja sihtkohta
- Planeerige ja levitage seda õigesti
kokkuvõte
- SSIS-i täisvorm on SQL Serveri integratsiooniteenused
- SSIS-tööriist aitab teil liita andmeid erinevatest andmesalvedest
- SQL Serveri integratsiooniteenuse olulised versioonid on 2005, 2008, 2012, 2014 ja 216
- Stuudiokeskkonnad, asjakohased andmete integreerimise funktsioonid ja tõhus juurutamiskiirus on mõned SSIS-i olulised funktsioonid
- Juhtvoog, andmevoog, sündmuste käitleja, paketiuurija ja parameetrid on olulised SSIS-i arhitektuuri komponendid
- Käivitage SQL-ülesanne, andmevoo ülesanne, analüüsiteenuste töötlemisülesanne, käivitage paketiülesanne, käivitage protsessiülesanne, failisüsteemi ülesanne, FTP-ülesanded, saatmine Mail Task, Web Service Task on mõned olulised
- Lai dokumentatsioon ja tugi
- SSIS-i suurim puudus on see, et sellel puudub alternatiivsete andmete integreerimise stiilide tugi
- SAP Andmeteenused, SASi andmehaldus, Oracle Warehouse Builder (OWB), PowerCenter Informatica, IBM Infosfääri teabeserver
- SSIS on mälusisene torujuhe. Seetõttu on oluline tagada, et kõik teisendused toimuksid mälus