Transformação do Qualificador de Origem na Informatica com EXEMPLO

⚡ Resumo Inteligente

A transformação Source Qualifier no Informatica representa as linhas que o Integration Service lê de uma fonte relacional ou arquivo simples, e permite que um desenvolvedor substitua a consulta padrão, filtre, classifique e remova duplicatas desses dados.

  • 🧩 Objeto automático: Um qualificador de origem aparece automaticamente sempre que uma tabela relacional ou um arquivo simples é adicionado a um mapa.ping.
  • ✍️ Substituição de SQL: Uma consulta personalizada substitui o SELECT gerado e tem prioridade sobre o filtro de origem e a configuração de portas classificadas.
  • 🔢 Ordem dos portos: A lista SELECT deve nomear as portas na ordem em que aparecem na transformação; caso contrário, a sessão poderá falhar.
  • 🎯 Filtro de origem: Uma condição de filtro remove linhas do banco de dados, e a palavra-chave WHERE deve ser omitida dela.
  • 🔗 Adesão em uma única passagem: Tabelas relacionadas de uma mesma fonte relacional podem ser unidas dentro de um único qualificador de origem, em vez de um elemento de junção.
  • ⚡ Less tráfego: O trabalho inserido na consulta de origem move menos linhas pela rede para a sessão.

Transformação do Qualificador de Origem na Informatica

O que é transformação do qualificador de origem?

A transformação Source Qualifier é uma transformação ativa e conectada que representa as linhas que o Integration Service lê quando uma sessão é executada. Sempre que uma fonte relacional ou um arquivo simples é adicionado a um mapa, ela é representada.pingÉ necessária uma transformação de Qualificador de Origem, e o Designer adiciona uma automaticamente. Com o Qualificador de Origem, você pode definir e substituir a forma como os dados são obtidos da fonte.

A transformação também converte os tipos de dados nativos da fonte em tipos de dados de transformação do Informatica, de modo que todas as transformações subsequentes funcionem com um conjunto de tipos independente de plataforma.

Como o qualificador de origem constrói a consulta que de fato acessa o banco de dados, ele é o primeiro lugar a ser verificado quando ocorre um erro. mapa,ping Lê mais linhas ou mais colunas do que o necessário. O exemplo abaixo restringe a consulta a quatro colunas.

Como modificar o qualificador de origem no Informatica

No exemplo a seguir, modificaremos o qualificador de origem do nosso mapa.ping “m_emp_emp_target”, para que, em vez de retornar todas as colunas, retorne apenas as colunas selecionadas.

Passo 1) Abra o mapaping “m_emp_emp_target” no mapaping Designer. O mapaping Abre-se com a fonte EMP, o qualificador de fonte SQ_EMP e o alvo EMP_TARGET na tela.

Mapaping m_emp_emp_target aberto no mapa do Informaticaping Designer

Passo 2) Double- Clique na transformação Source Qualifier “SQ_EMP”. Isso abrirá a janela Editar Transformações para esse objeto. Em seguida,

  1. Clique na guia Propriedades
  2. Clique na SQL Opção Query Modify, isso abrirá uma janela do editor SQL

A aba Propriedades lista a linha da consulta SQL mostrada abaixo.

Guia Propriedades do Qualificador de Origem SQ_EMP com a linha Consulta SQL selecionada

Passo 3) Na janela do editor SQL

  1. Insira a seguinte consulta
    SELECT  EMPNO,  ENAME,  JOB,  MGR FROM  EMP

    Observação – Estamos selecionando as colunas EMPNO, ENAME, JOB e MGR da fonte de dados, portanto, mantivemos apenas essas na consulta SELECT.

  2. Selecione o botão OK

O Editor SQL agora exibe a consulta personalizada em vez da consulta gerada automaticamente.

Janela do Editor SQL contendo a consulta SELECT personalizada para o Qualificador de Origem.

Passo 4) Na janela Editar transformações,

  1. Selecione a aba "Portas" no menu.
  2. Na aba "Portas", você verá todas as portas. Mantenha apenas as portas EMPNO, ENAME, JOB e MGR e exclua as demais.

A aba "Portas" lista todas as portas utilizadas pela transformação antes da exclusão.

A guia "Portas" da janela "Editar Transformações" lista todas as portas do qualificador de origem.

Passo 5) Após excluir as portas, selecione o botão OK. Somente as quatro portas restantes permanecerão na lista.

Aba Portas após a exclusão das portas indesejadas do Source Qualifier

Agora, clique novamente na guia Propriedades na janela Editar Transformações e você verá apenas os dados que selecionou.

A guia Propriedades mostra a substituição da consulta SQL salva no Qualificador de Origem.

Ao clicar no botão “OK”, a janela do Editor SQL será aberta.

  1. Isso confirmará que os dados selecionados estão corretos e prontos para serem carregados na tabela de destino.
  2. Clique no botão OK para prosseguir.

A janela de confirmação repete as quatro colunas que serão lidas a seguir.

A janela do Editor SQL confirma a consulta substituída antes do mapeamento.ping está salvo

Salve o mapaping (usando o atalho Ctrl+S) e execute o de gestão de documentosApós a execução, apenas as colunas selecionadas serão carregadas no destino.

Dessa forma, você pode sobrescrever no qualificador de origem quais colunas precisam ser buscadas da fonte, e essa é a única maneira de controlar quais colunas específicas são trazidas para o mapa.ping.

Propriedades do qualificador de origem

Você pode usar várias propriedades do qualificador de origem para determinar que tipo de dados de origem precisam ser transformados e enviados para a tabela de destino.

  1. Filtro de origem – Usando a propriedade Filtro de Origem, você pode reduzir o número de registros de origem. Por exemplo, se você quiser buscar apenas os funcionários do departamento 10, pode inserir a condição de filtro deptno=10 na propriedade Filtro de Origem e executar os dados. Inclua o nome da tabela e o nome da porta na condição e omita a palavra-chave WHERE – um filtro contendo WHERE fará com que a sessão falhe.
  2. Número de portas classificadas – Na transformação Source Qualifier, você também pode classificar os registros de entrada por posição da porta. O Integration Service adiciona uma cláusula ORDER BY à consulta padrão, contando as portas a partir do início da transformação, de modo que os dados já estejam classificados quando chegarem às transformações dentro do mapeamento.ping.

    Como os dados podem ser classificados por uma única porta ou por várias portas, você precisa especificar o número de portas que serão usadas na classificação. Se você inserir o valor 1, somente os dados de empno serão classificados. Se você inserir o valor 2, os dados serão classificados tanto por empno quanto por ename.

  3. Selecionar Distinto – Você pode buscar apenas registros distintos da fonte usando essa propriedade. Ao selecionar a opção Selecionar Distintos, o Serviço de Integração adiciona uma instrução SELECT DISTINCT, de modo que apenas combinações distintas de dados de origem sejam buscadas pelo Qualificador de Origem.

A aba Propriedades, mostrada abaixo, contém essas opções juntamente com o restante da lista de propriedades.

A guia Propriedades do Qualificador de Origem inclui Filtro de Origem, Número de Portas Classificadas e Selecionar Distintas.

A lista completa de propriedades disponíveis em um qualificador de origem relacional está resumida na tabela abaixo.

Propriedade O que ele faz
Consulta SQL Substitui a consulta padrão gerada pelo Serviço de Integração. Uma consulta personalizada sobrepõe-se a uma junção definida pelo usuário e a um filtro de origem.
Junção definida pelo usuário Fornece a condição usada para unir dados de várias fontes representadas pelo mesmo qualificador de origem.
Filtro de origem Fornece a condição de filtro que o Serviço de Integração aplica ao consultar linhas.
Número de portas classificadas Número de colunas usadas para classificar as linhas lidas de fontes relacionais, adicionadas à consulta como ORDER BY.
TracNível de ing Quantidade de detalhes registrados no log da sessão para esta transformação.
Selecionar Distinto Retorna apenas linhas únicas adicionando SELECT DISTINCT à consulta.
Pré-SQL Os comandos são executados no banco de dados de origem antes que o Serviço de Integração leia a origem.
Pós-SQL Os comandos são executados no banco de dados de origem depois que o Serviço de Integração grava no destino.
A saída é determinística Declara que a fonte retorna os mesmos dados entre execuções quando a entrada é consistente.
A saída é repetível. Declara que a fonte retorna linhas na mesma ordem entre as execuções, o que permite que o Serviço de Integração ignore o processo de preparação para recuperação.

Regras e diretrizes para uma substituição de SQL de qualificador de origem

Uma substituição de SQL é poderosa porque substitui tudo o que o Designer gerou, e é por isso que ela falha silenciosamente quando as regras abaixo são ignoradas.

  • Primeiro, conecte as portas. Conecte todas as portas de entrada e saída que você pretende usar antes de inserir a consulta, pois a consulta gerada é construída a partir das portas conectadas.
  • Mantenha a lista SELECT na ordem das portas. A instrução SELECT deve listar os nomes das portas na ordem em que aparecem na transformação. Se a ordem não corresponder, a sessão poderá falhar ou retornar resultados inesperados.
  • Qualifique cada coluna. Cada nome de coluna deve ser precedido pela tabela, visualização ou sinônimo ao qual pertence, por exemplo, ORDERS.ORDER_ID.
  • Gere antes de editar. Clicar em Gerar SQL exibe a consulta padrão, que já contém o filtro de origem e a cláusula sorted-ports, permitindo que a substituição seja criada a partir de uma instrução funcional.
  • Valide a afirmação. O Editor SQL possui um botão Validar que executa a consulta e informa se a sintaxe está correta antes mesmo da sessão ser iniciada.
  • Citação de palavras reservadas. Qualquer palavra reservada do banco de dados usada na consulta deve estar entre aspas.
  • Observe os precedentes. Uma consulta personalizada substitui o filtro de origem e o número de portas classificadas, e uma consulta SQL inserida no Sessão As propriedades substituem tanto a condição de filtro quanto a consulta definida no mapa.ping.

Para Microsoft SQL Server De acordo com as fontes, existe uma regra adicional: o número de colunas na instrução SELECT deve corresponder ao número de portas na transformação, caso contrário, a sessão falhará ao buscar as linhas.

Como combinar duas fontes com um único qualificador de fonte

Um único qualificador de origem pode ler mais de uma tabela. Quando duas tabelas relacionadas da mesma fonte relacional são vinculadas a um qualificador de origem, o Serviço de Integração as une dentro da consulta de origem, em vez de dentro do mapeamento.pingO que significa que o banco de dados realiza o trabalho e menos linhas são enviadas para a sessão.

A junção padrão é uma junção interna de igualdade (equijoin) escrita na cláusula WHERE como `Source1.column_name = Source2.column_name`. Para que essa junção seja gerada, as colunas unidas devem ter uma relação de chave primária-chave estrangeira e tipos de dados correspondentes. Caso os metadados importados não possuam tal relação, você pode criar uma no arquivo `internal_metadata.conf`. Analisador de origem vinculando as colunas correspondentes das duas definições de origem.

Quando o relacionamento estiver ausente ou a junção precisar ser uma junção externa, use a propriedade Junção Definida pelo Usuário. A condição inserida ali substitui as informações de junção contidas nos metadados, e o Serviço de Integração as anexa à consulta gerada.

Vale a pena lembrar dois limites. Ambas as tabelas devem vir da mesma fonte relacional, e fontes de tipos diferentes – um arquivo plano e uma tabela, ou dois bancos de dados diferentes – devem ser unidas com o Transformação de marceneiro ao invés.

Qualificador de origem vs. Filtro vs. Transformação de junção

Três objetos podem reduzir ou combinar linhas, e escolher o objeto errado é uma causa comum de lentidão nas sessões. A tabela abaixo os compara lado a lado.

Aspecto Qualificador de origem Transformação de filtro Transformação de marceneiro
Onde o trabalho é realizado No banco de dados de origem, dentro da consulta gerada No Serviço de Integração, linha por linha No Serviço de Integração, usando um cache
Propósito principal Ler linhas de origem, substituir a consulta, filtrar, classificar, remover duplicados Remover linhas que não atendam a uma condição Combine duas linhas de produção em um único conjunto de linhas.
Tipos de fonte Tabelas relacionais e arquivos planos de uma mesma fonte Quaisquer dados de dutos Fontes heterogêneas, incluindo arquivos planos e diferentes bancos de dados.
Junte-se ao suporte Junção interna de igualdade ou junção definida pelo usuário dentro de uma mesma fonte relacional. nenhum Junções normais, externas principais, externas detalhadas e externas completas.
Fileiras que cruzam a rede Apenas as linhas retornadas pela consulta Cada linha de origem é lida primeiro. Cada linha de origem é lida primeiro.

A regra prática é simples: filtre e junte o mais cedo possível na fonte e busque um Filtrar ou um Joiner apenas para tarefas que o banco de dados de origem não consegue executar. Inserir condições no Source Qualifier é uma das maneiras mais econômicas de otimizar o processo. ajuste de desempenho.

Perguntas Frequentes

Os comandos Pre-SQL são executados no banco de dados de origem antes que o Serviço de Integração leia a origem. Os comandos Post-SQL são executados no mesmo banco de dados depois que o Serviço de Integração termina de gravar no destino.

TracO nível de detalhamento define a quantidade de informações que a transformação grava no log da sessão. Um nível mais alto ajuda no diagnóstico de uma contagem de linhas inesperada, mas aumenta o tamanho do log e torna a execução mais lenta; portanto, reduza o nível posteriormente.

O Editor SQL possui um botão Validar. Ele executa a instrução na fonte de dados ODBC selecionada e informa se a sintaxe está correta, de modo que os erros sejam exibidos no Designer em vez de em uma sessão com falha.

Sim. Parâmetros e variáveis ​​são permitidos na consulta, na junção definida pelo usuário, no filtro de origem e nos comandos pré e pós-sessão. Inclua os parâmetros de string no formato de aspas esperado pelo banco de dados de origem.

Eles declaram que uma fonte retorna os mesmos dados, e na mesma ordem, entre as execuções. Quando ambos estão configurados, o Serviço de Integração ignora o armazenamento temporário dos dados da fonte para recuperação, o que reduz o tempo de execução.

Não. As substituições de consulta, junções definidas pelo usuário, filtros de origem e comandos pré ou pós-sessão são inseridos em um banco de dados, portanto, aplicam-se a fontes relacionais. Um qualificador de origem de arquivo simples controla principalmente o processo. tracordem de entrada e porto.

Assistentes de IA leem planos de consulta e histórico de carga de trabalho para sugerir predicados, índices e eliminação de colunas. Consultores baseados em aprendizado de máquina em bancos de dados modernos classificam essas sugestões, mas um desenvolvedor ainda valida cada alteração antes que ela chegue a uma sessão.

O Copilot pode gerar a instrução SELECT e agilizar listas de colunas repetitivas. Ele não conhece a ordem das portas da sua transformação, portanto, verifique a instrução gerada na guia Portas antes de salvá-la.

Resuma esta postagem com: