Tutorial SSIS para iniciantes: o que é, Archiarquitetura, pacotes

Facilita a movimentação de dados de um banco de dados para outro. O SSIS pode extrair dados de uma ampla variedade de fontes, como bancos de dados SQL Server, arquivos Excel, Oracle e bancos de dados DB2, etc.

O SSIS também inclui ferramentas gráficas e assistentes para executar funções de fluxo de trabalho, como envio de mensagens de e-mail, operações de FTP, fontes de dados e destinos.

Por que usamos o SSIS?

Aqui estão os principais motivos para usar a ferramenta SSIS:

• A ferramenta SSIS ajuda você a mesclar dados de vários armazenamentos de dados
• Automatiza funções administrativas e carregamento de dados
• Preenche data marts e data warehouses
• Ajuda você a limpar e padronizar dados
• Transformando BI em um processo de transformação de dados
• Automatizando Funções Administrativas e Carregamento de Dados
• O SIS contém uma GUI que ajuda os usuários a transformar dados facilmente, em vez de escrever programas grandes
• Ele pode carregar milhões de linhas de uma fonte de dados para outra em poucos minutos
• Identificando, capturando e processando alterações de dados
• Coordenar a manutenção, processamento ou análise de dados
• SSIS elimina a necessidade de programadores hardcore
• SSIS oferece tratamento robusto de erros e eventos

História do SSIS

Antes do SSIS, era usado o SQL Server, Data Transformation Services (DTS), que fazia parte do SQL Server 7 e 2000

Versão	Detalhe
SQL Server 2005	A Microsoft a equipe decidiu renovar o DTS. No entanto, em vez de atualizar o DTS, eles decidiram nomear o produto como Integration Services (SSIS).
Versão do servidor SQL 2008	Muitas melhorias de desempenho foram feitas no SSIS. Novas fontes também foram introduzidas.
SQL Server 2012	Foi o maior lançamento do SSIS. Com esta versão, foi introduzido o conceito do modelo de implantação do projeto. Permite projetos inteiros, e seus pacotes são implantados em um servidor, no lugar de pacotes específicos.
SQL Server 2014	Nesta versão, não são feitas muitas alterações no SSIS. Mas novas fontes ou transformações foram adicionadas, o que foi feito por downloads separados através do CodePlex ou o Pacote de Recursos do SQL Server.
No SQL Server 2016	A versão permite implantar projetos inteiros, em vez de pacotes individuais. Existem fontes adicionais, especialmente nuvem, e fontes de big data e poucas alterações foram feitas no catálogo.

Recursos importantes do SSIS

Aqui estão alguns recursos básicos importantes do SSIS:

• Ambientes de estúdio
• Funções relevantes de integração de dados
• Velocidade de implementação eficaz
• Forte integração com outros Microsoft Família SQL
• Transformação de consulta de mineração de dados
• Pesquisa difusa e transformações de agrupamento
• Extração de termos e transformações de pesquisa de termos
• Componentes de conectividade de dados de maior velocidade, como conectividade para SAP or Oracle

SSIS Archiarquitetura

A seguir estão os componentes da arquitetura SSIS:

• Fluxo de controle (armazena contêineres e tarefas)
• Fluxo de dados (origem, destino, transformações)
• Manipulador de eventos (envio de mensagens, e-mails)
• Package Explorer (oferece uma visualização única para todos no pacote)
• Parâmetros (interação do usuário)

Vamos entender cada componente em detalhes:

1. Fluxo de controle

O fluxo de controle é o cérebro do pacote SSIS. Ajuda você a organizar a ordem de execução de todos os seus componentes. Os componentes contêm contêineres e tarefas gerenciadas por restrições de precedência.

2. Restrições de precedência

As restrições de precedência são componentes do pacote que direcionam as tarefas para execução em uma ordem predefinida. Também define o fluxo de trabalho de todo o pacote SSIS. Ele controla a execução das duas tarefas vinculadas, executando as tarefas de destino com base no resultado da tarefa anterior — regras de negócios que são definidas por meio de expressões especiais.

3. Tarefa

Uma 'Tarefa' é uma unidade individual de trabalho. É o mesmo que um método/função usado em uma linguagem de programação. No entanto, no SSIS, você não usa métodos de codificação. Em vez disso, você usará a técnica de arrastar e soltar para projetar superfícies e configurá-las.

4. Contentores

O contêiner é uma unidade para agrupar tarefas em unidades de trabalho. Além de oferecer consistência visual, também permite declarar variáveis ​​​​e manipuladores de eventos que devem estar no escopo daquele contêiner específico.

Quatro tipos de contêineres no SSIS são:

• Um contêiner de sequência
• Um contêiner de loop For
• Contêiner de Loop Foreach

Contêiner de sequência: permite organizar tarefas subsidiárias agrupando-as e aplicar transações ou atribuir registros ao contêiner.

Para contêiner de loop:Fornece a mesma funcionalidade que a sequência Container, exceto que também permite executar as tarefas várias vezes. No entanto, é baseado em uma condição de avaliação, como um loop de 1 a 100.

Para cada contêiner de loop: Também permite looping. Mas a diferença é que em vez de usar uma expressão de condição, o loop é feito sobre um conjunto de objetos, como arquivos em uma pasta.

5. Fluxo de dados

O principal uso da ferramenta SSIS é extrair dados da memória do servidor, transformá-los e gravá-los em outro destino. Se o Control Flow é o cérebro, o Data Flow é o coração do SSIS

6. Pacotes SSIS

Outro componente central do SSIS é a noção de pacote. É uma coleção de tarefas executadas de maneira ordenada. Aqui, as restrições do presidente ajudam a gerenciar a ordem em que a tarefa será executada.

Um pacote pode ajudá-lo a salvar arquivos em um SQL Server, no banco de dados msdb ou catálogo de pacotes. Ele pode ser salvo como um arquivo .dtsx, que é um arquivo estruturado muito semelhante aos arquivos .rdl do Reporting Services.

7. Parâmetros

Os parâmetros se comportam como uma variável, mas com algumas exceções principais. Pode ser facilmente colocado fora da embalagem. Podem ser designados como valores que devem ser passados ​​para que o pacote seja iniciado.

Tipos de tarefas SSIS

Na ferramenta SSIS, você pode adicionar uma tarefa para controlar o fluxo. Existem diferentes tipos de tarefas que realizam vários tipos de trabalhos.

Algumas tarefas importantes do SSIS são mencionadas abaixo:

Nome da tarefa	Descrição
Executar Tarefa SQL	Como o próprio nome sugere, ele executará uma instrução SQL em um banco de dados relacional.
Tarefa de Fluxo de Dados	Esta tarefa pode ler dados de uma ou mais fontes. Transforme os dados quando estiverem na memória e grave-os em um ou mais destinos.
Tarefa de processamento do Analysis Services	Utilize esta tarefa para processar objetos de um modelo Tabular ou como um cubo SSAS.
Executar tarefa de pacote	Use pode usar esta tarefa SSIS para executar outros pacotes dentro do mesmo projeto.
Executar Tarefa de Processo	Com esta tarefa, você pode especificar parâmetros de linha de comando.
Tarefa do sistema de arquivos	Ele realiza manipulações no sistema de arquivos. Como mover, renomear, excluir arquivos e criar diretórios.
Tarefas FTP	Ele permite que você execute funcionalidades básicas de FTP.
Tarefa de Script	Esta é uma tarefa em branco. Você pode escrever código NET que executa qualquer tarefa; você deseja realizar.
Submeter Mail Tarefa	Você pode enviar um e-mail para notificar os usuários de que seu pacote foi concluído ou que ocorreu algum erro.
Tarefa de inserção em massa	Use pode carregar dados em uma tabela usando o comando de inserção em massa.
Tarefa de Script	Executa um conjunto de VB.NET ou codificação C# dentro de um ambiente Visual Studio.
Tarefa de serviço da Web	Ele executa um método em um serviço web.
Tarefa do Observador de Eventos WMI	Esta tarefa permite que o pacote SSIS aguarde e responda a determinados eventos WMI.
Tarefa XML	Esta tarefa ajuda você a mesclar, dividir ou reformatar qualquer arquivo XML.

Outras ferramentas ETL importantes

• SAP Serviços de dados
• Gerenciamento de dados SAS
• Oracle Construtor de Armazém (OWB)
• PowerCenter Informática
• IBM Servidor de informações da Infosfera
• Repertório Elixir para ETL de dados
• Fluxo de dados Sargent

Vantagens e desvantagens de usar SSIS

A ferramenta SSIS oferece as seguintes vantagens:

• Ampla documentação e suporte
• Facilidade e rapidez de implementação
• Forte integração com SQL Server e estúdio visual
• Integração de dados padronizada
• Oferece recursos baseados em mensagens em tempo real
• Suporte para modelo de distribuição
• Ajuda a remover a rede como um gargalo para inserção de dados pelo SSIS no SQL
• SISS permite que você use o destino do SQL Server em vez do OLE DB para carregar os dados mais rapidamente

Desvantagens do SSIS

Algumas desvantagens do uso de ferramentas SSIS são as seguintes:

• Às vezes, crie problemas em ambientes que não sejam Windows
• Visão e estratégia pouco claras
• SSIS não tem suporte para estilos alternativos de integração de dados
• Integração problemática com outros produtos

Exemplo de Melhores Práticas do SSIS

• SSIS é um pipeline na memória. É por isso que é importante garantir que todas as transformações ocorram na memória
• Tente minimizar as operações registradas
• Planeje a capacidade compreendendo a utilização de recursos
• Otimize a transformação de pesquisa SQL, a fonte de dados e o destino
• Programe e distribua corretamente

Resumo

• A forma completa do SSIS é SQL Server Integration Services
• A ferramenta SSIS ajuda você a mesclar dados de vários armazenamentos de dados
• Versões importantes do SQL Server Integration Service são 2005, 2008, 2012, 2014 e 216
• Ambientes de estúdio, funções relevantes de integração de dados e velocidade de implementação eficaz são alguns recursos importantes do SSIS
• Fluxo de controle, fluxo de dados, manipulador de eventos, Package Explorer e parâmetros são componentes essenciais da arquitetura SSIS
• Executar tarefa SQL, tarefa de fluxo de dados, tarefa de processamento do Analysis Services, executar tarefa de pacote, executar tarefa de processo, tarefa de sistema de arquivos, tarefas de FTP, enviar Mail Tarefa, Tarefa de Serviço Web são algumas tarefas importantes
• Ampla documentação e suporte
• A maior desvantagem do SSIS é que ele não oferece suporte para estilos alternativos de integração de dados
• SAP Serviços de dados, gerenciamento de dados SAS, Oracle Construtor de Armazém (OWB), PowerCenter Informática, IBM Servidor de informações da Infosfera
• SSIS é um pipeline na memória. Portanto, é essencial garantir que todas as transformações ocorram na memória