Výukový program SSIS pro začátečníky: Co je, Architecture, Packages
Co je SSIS?
SQL Server Integration Service (SSIS) je součástí Microsoft SQL Server databázový software, který lze použít k provádění široké škály úloh migrace dat. SSIS je rychlý a flexibilní nástroj pro ukládání dat používaný pro extrakci, načítání a transformaci dat, jako je čištění, agregace, slučování dat atd.
Usnadňuje přesun dat z jedné databáze do jiné databáze. SSIS dokáže extrahovat data z celé řady zdrojů, jako jsou databáze SQL Server, soubory Excel, Oracle a databáze DB2 atd.
SSIS také obsahuje grafické nástroje a průvodce pro provádění funkcí pracovního toku, jako je odesílání e-mailových zpráv, operace FTP, zdroje dat a cíle.
Proč používáme SSIS?
Zde jsou hlavní důvody pro použití nástroje SSIS:
- Nástroj SSIS vám pomůže sloučit data z různých úložišť dat
- Automatizuje administrativní funkce a načítání dat
- Naplňuje data Marts a datové sklady
- Pomáhá vám čistit a standardizovat data
- Zabudování BI do procesu transformace dat
- Automatizace administrativních funkcí a načítání dat
- SIS obsahuje grafické uživatelské rozhraní, které uživatelům pomáhá snadno transformovat data namísto psaní velkých programů
- Dokáže načíst miliony řádků z jednoho zdroje dat do druhého během několika minut
- Identifikace, zachycení a zpracování změn dat
- Koordinace údržby, zpracování nebo analýzy dat
- SSIS eliminuje potřebu hardcore programátorů
- SSIS nabízí robustní zpracování chyb a událostí
Historie SSIS
Před SSIS byl SQL Server používán Data Transformation Services (DTS), která byla součástí SQL Server 7 a 2000
Verze | Detail |
---|---|
SQL Server 2005 | Jedno Microsoft tým se rozhodl předělat DTS. Místo aktualizace DTS se však rozhodli pojmenovat produkt Integration Services (SSIS). |
Verze serveru SQL 2008 | V SSIS bylo provedeno mnoho vylepšení výkonu. Byly také představeny nové zdroje. |
SQL Server 2012 | Bylo to největší vydání pro SSIS. S touto verzí byl představen koncept modelu nasazení projektu. Umožňuje celé projekty a jejich balíčky jsou nasazeny na server namísto konkrétních balíčků. |
SQL Server 2014 | V této verzi není pro SSIS provedeno mnoho změn. Byly však přidány nové zdroje nebo transformace, což bylo provedeno samostatným stahováním prostřednictvím kóduPlex nebo SQL Server Feature Pack. |
V SQL Server 2016 | Verze umožňuje nasadit celé projekty namísto jednotlivých balíčků. Existují další zdroje, zejména cloud a zdroje velkých dat a v katalogu bylo provedeno několik změn. |
Význačné funkce SSIS
Zde jsou některé důležité základní funkce SSIS:
- Studiová prostředí
- Relevantní funkce integrace dat
- Efektivní rychlost implementace
- Těsná integrace s ostatními Microsoft rodina SQL
- Transformace dotazu dolování dat
- Fuzzy vyhledávání a seskupování transformací
- Extrakce termínů a transformace vyhledávání termínů
- Komponenty vysokorychlostního datového připojení, jako je připojení k SAP or Oracle
SSIS Architecture
Níže jsou uvedeny součásti architektury SSIS:
- Řízení toku (ukládá kontejnery a úkoly)
- Datový tok (zdroj, cíl, transformace)
- Event Handler (odesílání zpráv, e-mailů)
- Průzkumník balíčků (Nabízí jediné zobrazení pro všechny v balíčku)
- Parametry (uživatelská interakce)
Pojďme se podrobně seznámit s každou komponentou:
1. Řízení toku
Řídicí tok je mozkem balíčku SSIS. Pomůže vám zařídit pořadí provádění pro všechny jeho součásti. Komponenty obsahují kontejnery a úlohy, které jsou spravovány omezeními priority.
2. Omezení priority
Omezení priority jsou komponenty balíčku, které řídí úkoly, které se mají provést v předem definovaném pořadí. Definuje také pracovní postup celého balíčku SSIS. Řídí provádění dvou propojených úloh prováděním cílových úloh na základě výsledku předchozí úlohy – obchodních pravidel, která jsou definována pomocí speciálních výrazů.
3. Úkol
„Úkol“ je samostatná jednotka práce. Je to stejné jako metoda/funkce používaná v programovacím jazyce. V SSIS však nepoužíváte metody kódování. Místo toho použijete techniku drag & drop k návrhu povrchu a jeho konfiguraci.
4. Kontejnery
Kontejner je jednotkami pro seskupování úkolů do jednotek práce. Kromě vizuální konzistence vám také umožňuje deklarovat proměnné a obslužné rutiny událostí, které by měly být v rozsahu tohoto konkrétního kontejneru.
Čtyři typy kontejnerů v SSIS jsou:
- Sekvenční kontejner
- A For Loop Container
- Foreach Loop Container
Sekvenční kontejner: umožňuje organizovat vedlejší úkoly jejich seskupováním a umožňuje vám aplikovat transakce nebo přiřadit protokolování ke kontejneru.
Pro kontejner smyčky:Poskytuje stejné funkce jako kontejner sekvence kromě toho, že také umožňuje spouštět úlohy vícekrát. Je však založen na podmínce hodnocení, jako je smyčka od 1 do 100.
Pro každý kontejner smyčky: Umožňuje také smyčkování. Rozdíl v tom, že namísto použití výrazu podmínky se smyčka provádí přes sadu objektů, má rád soubory ve složce.
5. Datový tok
Hlavním využitím nástroje SSIS je extrahovat data do paměti serveru, transformovat je a zapisovat do jiného cíle. Pokud je Control Flow mozkem, Data Flow je srdcem SSIS
6. Balíčky SSIS
Další základní složkou SSIS je koncept balíčku. Je to soubor úkolů, které se provádějí uspořádaným způsobem. Omezení prezidenta zde pomáhají řídit pořadí, ve kterém bude úkol proveden.
Balíček vám může pomoci uložit soubory do a SQL Server, v databázi msdb nebo katalogu balíčků. Lze jej uložit jako soubor .dtsx, což je strukturovaný soubor velmi podobný souborům .rdl ve službě Reporting Services.
7. Parametry
Parametry se chovají podobně jako proměnná, ale s několika hlavními výjimkami. Lze jej snadno nastavit mimo balení. Může být označen jako hodnoty, které musí být předány, aby se balíček spustil.
Typy úloh SSIS
V nástroji SSIS můžete přidat úkol pro řízení toku. Existují různé typy úkolů, které provádějí různé druhy prací.
Některé důležité úkoly SSIS jsou uvedeny níže:
Task Name | Descriptionty |
---|---|
Proveďte úlohu SQL | Jak jeho název napovídá, provede příkaz SQL proti relační databázi. |
Úloha toku dat | Tato úloha může číst data z jednoho nebo více zdrojů. Transformujte data, když jsou v paměti, a zapište je proti jednomu nebo více cílům. |
Úkol zpracování analytických služeb | Tuto úlohu použijte ke zpracování objektů tabulkového modelu nebo jako krychle SSAS. |
Proveďte úkol balíčku | Použijte tuto úlohu SSIS ke spouštění dalších balíčků ze stejného projektu. |
Proveďte procesní úlohu | Pomocí této úlohy můžete zadat parametry příkazového řádku. |
Úloha souborového systému | Provádí manipulace v souborovém systému. Stejně jako přesouvání, přejmenování, mazání souborů a vytváření adresářů. |
FTP úkoly | Umožňuje vám provádět základní funkce FTP. |
Úkol skriptu | Toto je prázdný úkol. Můžete napsat NET kód, který provede jakýkoli úkol; chcete vystupovat. |
Odeslat Mail Úkol | Uživatelům můžete poslat e-mail s upozorněním, že váš balíček je dokončen nebo že dojde k nějaké chybě. |
Úkol hromadného vkládání | Use can načte data do tabulky pomocí příkazu hromadného vložení. |
Úkol skriptu | Provozuje sadu VB.NET nebo C# kódování v prostředí Visual Studio. |
Úkol webové služby | Provádí metodu na webové službě. |
Úloha WMI Event Watcher | Tato úloha umožňuje balíčku SSIS čekat na určité události WMI a reagovat na ně. |
Úloha XML | Tato úloha vám pomůže sloučit, rozdělit nebo přeformátovat jakýkoli soubor XML. |
Další důležité nástroje ETL
- SAP Datové služby
- Správa dat SAS
- Oracle Stavitel skladu (OWB)
- PowerCenter Informatica
- IBM Informační server Infosphere
- Repertoár elixíru pro data ETL
- Sargent datový tok
Výhody a nevýhody použití SSIS
Nástroj SSIS nabízí následující výhody:
- Široká dokumentace a podpora
- Jednoduchost a rychlost realizace
- Úzká integrace s SQL Server a vizuální studio
- Standardizovaná integrace dat
- Nabízí funkce založené na zprávách v reálném čase
- Podpora distribučního modelu
- Pomáhá vám odstranit síť jako úzké místo pro vkládání dat pomocí SSIS do SQL
- SISS umožňuje použít místo OLE DB cíl SQL Server pro rychlejší načítání dat
Nevýhody SSIS
Některé nevýhody používání nástrojů SSIS jsou následující:
- Někdy vytvářejte problémy v prostředích bez systému Windows
- Nejasná vize a strategie
- SSIS postrádá podporu pro alternativní styly integrace dat
- Problematická integrace s jinými produkty
Příklad osvědčených postupů SSIS
- SSIS je kanál v paměti. Proto je důležité zajistit, aby všechny transformace probíhaly v paměti
- Pokuste se minimalizovat protokolované operace
- Plánujte kapacitu tím, že pochopíte využití zdrojů
- Optimalizujte transformaci vyhledávání SQL, zdroj dat a cíl
- Naplánujte a distribuujte to správně
Shrnutí
- Plná forma SSIS je SQL Server Integration Services
- Nástroj SSIS vám pomůže sloučit data z různých úložišť dat
- Důležité verze SQL Server Integration Service jsou 2005, 2008, 2012, 2014 a 216
- Mezi důležité funkce SSIS patří prostředí Studio, příslušné funkce integrace dat a efektivní rychlost implementace
- Control Flow, Data Flow, Event Handler, Package Explorer a Parameters jsou základní komponenty architektury SSIS
- Spustit úlohu SQL, úlohu toku dat, úlohu zpracování služby Analysis Services, spustit úlohu balíčku, spustit úlohu procesu, úlohu systému souborů, úlohy FTP, odeslat Mail Úkol, Úkol webové služby jsou některé důležité
- Široká dokumentace a podpora
- Největší nevýhodou SSIS je, že postrádá podporu pro alternativní styly integrace dat
- SAP datové služby, správa dat SAS, Oracle Stavitel skladů (OWB), PowerCenter Informatica, IBM Informační server Infosphere
- SSIS je kanál v paměti. Proto je nezbytné zajistit, aby všechny transformace probíhaly v paměti