Transformação do Agregador na Informatica com Exemplo

O que é transformação de agregador?

A transformação de agregador é uma transformação ativa que realiza cálculos agregados, como soma, média e contagem.

Por exemplo, se você quiser calcular a soma dos salários de todos os funcionários por departamento, pode usar a transformação Agregador.

As operações agregadas são executadas em um grupo de linhas, portanto, é necessário um espaço reservado temporário para armazenar todos esses registros e realizar os cálculos.

Para isso, utiliza-se o cache do agregador. Trata-se de uma memória principal temporária alocada à transformação do agregador para executar tais operações, e é dividida em duas partes: o cache de índice armazena os valores do grupo, enquanto o cache de dados armazena os dados das linhas que estão sendo agregados.

A transformação está ativa porque altera o número de linhas no pipeline. Vários milhares de registros de funcionários podem entrar e apenas uma linha por departamento sai dele.

Como usar a transformação de agregadores no Informatica

Neste exemplo, calcularemos a soma dos salários do departamento. Para isso, necessitamos de uma nova coluna para armazenar esta soma. Então, antes de mais nada, prepararemos uma nova coluna.

Passo 1) Crie uma nova tabela de destino no banco de dados, por exemplo, "sum_sal_deptwise", usando o script abaixo. Você verá a nova tabela de destino criada em Targetpasta s na próxima etapa.

Baixe o arquivo Create_table_sal_deptwise.txt acima

Passo 2) Crie um novo mapa,ping “m_sum_sal_deptwise”.

Para criar o novo mapapingPrecisamos da tabela de origem (EMP) e da tabela de destino (sum_sal_deptwise) no mapa.ping Designer, então precisamos de

1. Importe a tabela de destino “sum_sal_deptwise” no mapa.ping.
2. Importe a tabela de origem “emp”.

Ambas as definições agora aparecem na tela, como mostrado abaixo.

Passo 3) No mapaping,

1. De Qualificador de origem, exclua as colunas empno, ename, job, mgr, hiredate e comm, deixando apenas as colunas deptno e sal.
2. Crie uma nova transformação de Agregador usando o menu da caixa de ferramentas, conforme mostrado na captura de tela. Ao clicar no ícone do agregador, uma nova transformação de Agregador será criada.

O novo objeto AGGTRANS aparece ao lado do qualificador de origem truncado.

Passo 4) Arraste e solte as colunas SAL e DEPTNO do Qualificador de Origem (SQ_EMP) para a transformação Agregador. As duas portas agora estão vinculadas em AGGTRANS.

Passo 5) Double-clique na transformação Agregador para abrir suas propriedades e, em seguida,

1. Adicione uma nova porta na transformação
2. Renomeie a porta para SUM_SAL
3. Altere o tipo de dados desta nova porta para double
4. Configure esta porta como porta de saída selecionando a caixa de seleção da porta de saída.
5. Clique na opção de expressão

A aba Portas agora lista SAL, DEPTNO e a nova porta de saída SUM_SAL.

Passo 6) Na janela do Editor de Expressões

1. Adicione a expressão sum(SAL); você precisa escrever essa expressão você mesmo.
2. Selecione o botão OK; isso abrirá novamente a janela Editar Transformações.

O Editor de Expressões mostra a expressão agregada atribuída a SUM_SAL.

Passo 7) Na janela Editar Transformações, selecione a opção “Agrupar por” marcando a caixa de seleção ao lado da coluna deptno e clique em OK. Ao selecionar “Agrupar por” para a coluna deptno, estamos instruindo o Informatica a agrupar os salários por deptno.

Passo 8) Vincule as colunas deptno e sum_sal da transformação Aggregator à tabela de destino. O mapeamentoping O processo é então concluído, da origem ao destino.

Agora salve o mapaping e executá-lo após criar um novo Sessão para este mapapingA tabela de destino conterá a soma dos salários por departamento. Dessa forma, podemos usar a transformação Agregador para calcular os resultados agregados.

Agrupar por portas na transformação de agregadores

A etapa anterior marcou uma única porta como "Agrupar por", o que transformou o total da empresa em um total por departamento. Qualquer porta de entrada, entrada/saída, saída ou variável pode ser marcada da mesma forma.

Três regras regem o conjunto de resultados:

• Uma fila por grupo. Quando os valores são agrupados, o Serviço de Integração gera uma linha para cada combinação única de agrupamento por portas.
• Sem agrupamento, apenas uma linha. Se nenhuma porta for selecionada, toda a entrada será tratada como um único grupo e uma única linha será retornada para todas as linhas de entrada.
• A última fila vence. Juntamente com o resultado agregado, o Serviço de Integração normalmente passa a última linha recebida no grupo, a menos que uma função como FIRST nomeie uma linha diferente.

Quando vários portos estão marcados, a ordem dos portos determina o grupo.ping ordem, e a ordem pode alterar o resultado. Grupoping por DEPTNO e depois JOB não é o mesmo que grupoping primeiro por JOB e depois por DEPTNO, porque os valores da segunda coluna não são necessariamente únicos.

Propriedades de transformação do agregador

A aba Propriedades da janela Editar Transformações contém as configurações que definem onde o cache fica armazenado e quanto dele é utilizado. A tabela abaixo lista essas configurações.

Configuração	O que ele controla
Diretório de cache	Diretório local no qual o Serviço de Integração cria os arquivos de índice e cache de dados. O padrão é a variável de processo $PMCacheDir definida no Gerenciador de Fluxo de Trabalho.
TracNível de ing	Quantidade de detalhes registrados no log da sessão para esta transformação.
Entrada ordenada	Declara que os dados recebidos já estão classificados por grupo de portas. Selecione esta opção somente quando o mapaping Realmente fornece dados organizados.
Tamanho do cache de dados do agregador	Tamanho do cache de dados. O padrão é 2,000,000 bytes, e a opção Automático permite que o Serviço de Integração o dimensione.
Tamanho do cache do índice agregador	Tamanho do cache de índice. O padrão é 1,000,000 bytes, e a opção Automático permite que o Serviço de Integração o dimensione.
Escopo da Transformação	Aplica a lógica a cada transação ou a todos os dados recebidos. A opção "Todas as entradas" descarta os limites das transações recebidas.

Quando a agregação incremental está habilitada, o Serviço de Integração grava um backup dos arquivos de cache a cada execução, portanto, o diretório de cache precisa armazenar dois conjuntos de arquivos em vez de um.

Regras de Expressão Agregada e Dicas de Desempenho

Uma expressão agregada pode combinar uma função agregada com cláusulas condicionais e funções não agregadas, o que possibilita somas e contagens condicionais em uma única porta. Duas regras restringem o que pode ser escrito.

• Um nível de aninhamento. Apenas uma função agregada pode estar aninhada dentro de outra, e a expressão interna é avaliada primeiro.
• Sem mistura. Uma transformação pode conter funções de nível único ou funções aninhadas, nunca ambas. Se contiver ambas, o Designer marca o mapa.ping inválido, então divida a lógica em duas transformações de Agregador.

Em termos de afinação, três configurações fazem a maior parte do trabalho:

• Entrada ordenada. Quando as linhas chegam ordenadas por grupo por portas, cada grupo pode ser liberado assim que sua última linha chegar, resultando em muito menos dados em cache e uma sessão mais rápida. A entrada ordenada não pode ser combinada com agregação incremental.
• Agregação incremental. Novas linhas de origem são passadas pelo mapa.ping e combinado com o cache histórico em vez de recalcular o histórico, o que é adequado para um carregamento noturno em um total acumulado.
• Filtrar antecipadamente. As linhas que nunca contribuirão para o total devem ser descartadas antes do agregador, seja na consulta do qualificador de origem ou em um Transformação de filtro, porque cada linha que chega ao Agregador consome memória cache. Esta é uma das verificações padrão durante ajuste de desempenho.

Perguntas Frequentes