Tutorial de teste ETL

O que é ETL?

ETL é um anagrama para Extract-Transformar-Carregare descreve como os dados se movem de um sistema de origem para um data warehouse. Os dados são extracOs dados são extraídos de um banco de dados OLTP, transformados para corresponder ao esquema do data warehouse e carregados no banco de dados do warehouse. Muitos data warehouses também incorporam dados de sistemas não OLTP, como arquivos de texto, aplicativos legados e planilhas.

Por exemplo, uma loja de varejo pode ter departamentos separados, como vendas, marketing e logística. Cada departamento lida com as informações do cliente de forma independente, e a maneira como cada um armazena esses dados difere. O departamento de vendas pode armazenar registros pelo nome do cliente, enquanto o departamento de marketing usa o ID do cliente.

Se as equipes de negócios desejam revisar todo o histórico de compras de um cliente em diferentes campanhas de marketing, os dados desconectados tornam essa tarefa muito tediosa. A solução é usar um datawarehouse Armazenar informações de diferentes fontes em uma estrutura uniforme usando ETL. O ETL pode transformar conjuntos de dados distintos em uma estrutura unificada, para que as ferramentas de BI possam posteriormente gerar insights e relatórios relevantes.

O diagrama a seguir mostra o fluxo do processo de teste ETL e os principais conceitos que você usará ao longo deste guia:

1) Extract

• Extracdados relevantes de um ou mais sistemas de origem.

2) Transformar

• Transformar os dados para o formato DW (Data Warehouse).
• Chaves de construção: uma chave é um ou mais atributos de dados que identificam exclusivamente uma entidade. Vários tipos de chaves São elas: chave primária, chave alternativa, chave estrangeira, chave composta e chave substituta. O data warehouse é o proprietário dessas chaves e nunca permite que nenhuma outra entidade as atribua.
• Limpeza de dados: após a extração dos dadostracEm seguida, o sistema avança para a próxima fase de limpeza e conformidade. A limpeza corrige omissões e identifica erros. A conformidade resolve conflitos entre conjuntos de dados incompatíveis, permitindo que sejam utilizados em um data warehouse corporativo. O sistema também cria metadados que auxiliam no diagnóstico de problemas no sistema de origem e na melhoria da qualidade dos dados.

3) Carga

• Carregar dados no DW (Data Warehouse).
• Criar agregados: um agregado resume e armazena dados de um tabela de fatos Para melhorar o desempenho das consultas dos usuários finais.

O que é o teste ETL?

O teste ETL é realizado para garantir que os dados carregados de uma origem para um destino, após a transformação de negócios, sejam precisos. Também envolve a verificação dos dados nos vários estágios intermediários entre a origem e o destino. Como ETL significa Extração, Carga e Transformação (ou Transformação de Dados), o processo de ETL é realizado para garantir a precisão dos dados carregados de uma origem para um destino, após a transformação de negócios. Também envolve a verificação dos dados nos vários estágios intermediários entre a origem e o destino.tracO teste ETL (Transformação, Carga e Transformação) abrange cada uma dessas três etapas e os pontos em que os dados transitam entre elas.

Por que o teste ETL é importante?

Depois de entender o que é o teste ETL, a próxima pergunta é por que as organizações investem tanto esforço nisso. As decisões de negócios dependem de dados corretos, completos e confiáveis; portanto, um único erro de transformação pode ter um efeito cascata em relatórios financeiros, análises de clientes e divulgações regulatórias.

Os seguintes pontos explicam o valor prático de testes ETL robustos:

• Precisão de dados: Isso confirma que os valores transformados pelas regras de negócio correspondem ao mapa documentado.ping especificações, prevenindo corrupção silenciosa.
• Relatórios confiáveis: Os dashboards e as ferramentas de BI dependem do data warehouse, portanto, pipelines ETL verificados protegem todos os relatórios e KPIs subsequentes.
• Conformidade regulatória: Setores como o bancário, o de saúde e o de seguros precisam comprovar que a linhagem e a integridade dos dados são preservadas de ponta a ponta.
• Redução do retrabalho: A detecção de defeitos em ambientes de desenvolvimento evita custos elevados com recarregamentos de produção, reconciliações manuais e erros que afetam diretamente o cliente.
• Garantia de desempenho: Os testes de ETL medem janelas de carga, taxa de transferência e gargalos para que o data warehouse continue a escalar à medida que o volume de dados aumenta.

Com essas motivações claras, a próxima seção descreve o processo estruturado que os testadores de ETL seguem em projetos reais.

Processo de teste ETL

Assim como outros processos de teste, o ETL também passa por diferentes fases. As diferentes fases do processo de teste de ETL são as seguintes:

O teste ETL é realizado em cinco etapas:

1. Identificando fontes de dados e requisitos
2. A aquisição de dados
3. Implementar lógica de negócios e modelagem dimensional.
4. Construir e preencher dados
5. Criar relatórios

Com o processo geral em mente, vamos analisar os tipos específicos de testes que se encaixam nesse ciclo de vida.

Tipos de teste ETL

1. Teste de validação de produção
   Processo de teste: Também chamado de "balanceamento de tabelas" ou "reconciliação de produção", esse tipo de teste ETL é realizado nos dados à medida que são inseridos nos sistemas de produção. Para embasar as decisões de negócios, os dados de produção devem estar na ordem correta. informática A opção de Validação de Dados oferece recursos de automação e gerenciamento de testes ETL, garantindo que os sistemas de produção não sejam comprometidos por dados incorretos.
2. Fonte para Target Teste (teste de validação)
   Processo de teste: Esse tipo de teste valida se os valores dos dados transformados correspondem aos valores-alvo esperados.
3. Aplicação Upgrades
   Processo de teste: Esse tipo de teste ETL pode ser gerado automaticamente, economizando um tempo considerável no desenvolvimento de testes. Ele verifica se os dados são...tracOs dados provenientes de uma aplicação ou repositório mais antigo correspondem aos dados em uma nova aplicação ou repositório.
4. Teste de metadados
   Processo de teste: Os testes de metadados incluem verificações de tipo de dados, verificações de comprimento de dados e verificações de índice ou restrição.
5. Teste de integridade de dados
   Processo de teste: O teste de integridade de dados verifica se todos os dados esperados foram carregados da origem para o destino. Os testes comuns incluem a comparação e validação da contagem de registros, agregações e dados reais entre as colunas de origem e destino quando a transformação é simples ou inexistente.
6. Teste de precisão de dados
   Processo de teste: Este teste garante que os dados sejam carregados e transformados corretamente, conforme o esperado.
7. Teste de transformação de dados
   Processo de teste: Testar a transformação de dados geralmente não pode ser feito com uma única fonte. SQL consulta e comparação de resultados. Podem ser necessárias várias consultas SQL para cada linha a fim de verificar as regras de transformação.
8. Teste de qualidade de dados
   Processo de teste:

   Os testes de qualidade de dados incluem testes de sintaxe e testes de referência. Eles previnem erros nos processos de negócios causados ​​por datas ou números de pedidos incorretos.

   Os testes de sintaxe reportam dados incorretos com base em caracteres inválidos, padrões de caracteres e ordem incorreta de maiúsculas ou minúsculas.

   Os testes de referência verificam os dados em relação ao modelo de dados. Por exemplo: ID do cliente.

   Os testes de qualidade de dados também incluem verificações de números, datas, precisão, dados e valores nulos.

9. Teste ETL incremental
   Processo de teste: Este teste verifica a integridade dos dados antigos e novos com a adição de novos dados. O teste incremental verifica se as inserções e atualizações são processadas conforme o esperado durante o processo ETL incremental.
10. Teste de GUI/Navegação
    Processo de teste: Este teste verifica a navegação e os aspectos da interface gráfica do usuário (GUI) dos relatórios da interface.

Como criar um caso de teste ETL

O teste ETL é um conceito que pode ser aplicado a diferentes ferramentas e bancos de dados na indústria de gerenciamento de informações. O objetivo do teste ETL é garantir que os dados carregados de uma origem para um destino após a transformação de negócios sejam precisos. Envolve também a verificação de dados nas várias etapas intermediárias entre a origem e o destino.

Ao realizar testes de ETL, um testador de ETL sempre utiliza dois documentos:

1. Mapa ETLping folhas: Um mapa ETLping A planilha contém todas as informações das tabelas de origem e destino, incluindo cada coluna e sua respectiva pesquisa nas tabelas de referência. Os testadores de ETL devem estar familiarizados com consultas SQL, pois o teste de ETL pode envolver a escrita de consultas complexas com múltiplas junções para validar os dados em qualquer etapa. Mapa de ETLping As planilhas oferecem uma ajuda significativa na elaboração de consultas para verificação de dados.
2. Esquema do banco de dados de origem e destino: Deve ser mantido à mão para verificar qualquer detalhe no mapa.ping folhas.

Cenários e casos de teste de ETL

1. Mapaping validação de documentos
   Casos de teste: Verifique se as informações ETL correspondentes estão presentes no mapa.ping Um registro de alterações deve ser mantido em cada mapa.ping doutor.
2. Validação
   Casos de teste:

   1) Valide a estrutura das tabelas de origem e destino em relação ao mapa correspondente.ping doutor.
   2) O tipo de dados de origem e o tipo de dados de destino devem ser os mesmos.
   3) O comprimento dos tipos de dados na origem e no destino deve ser igual.
   4) Verifique se os tipos e formatos dos campos de dados estão especificados.
   5) O comprimento do tipo de dados de origem não deve ser menor que o comprimento do tipo de dados de destino.
   6) Valide os nomes das colunas na tabela em relação ao mapa.ping doutor.

3. Validação de restrição
   Casos de teste: Certifique-se de que as restrições estejam definidas para a tabela específica conforme o esperado.
4. Problemas de consistência de dados
   Casos de teste:

   1) O tipo de dados e o comprimento de um determinado atributo podem variar entre arquivos ou tabelas, mesmo quando a definição semântica é a mesma.
   2) Uso indevido de restrições de integridade.

5. Problemas de integridade
   Casos de teste:

   1) Certifique-se de que todos os dados esperados foram carregados na tabela de destino.
   2) Compare as contagens de registros entre a origem e o destino.
   3) Verifique se há registros rejeitados.
   4) Verifique se os dados não estão truncados nas colunas das tabelas de destino.
   5) Verificar análise de valores limite.
   6) Compare os valores únicos dos campos-chave entre os dados carregados no data warehouse e os dados de origem.

6. Problemas de correção
   Casos de teste:

   1) Dados com erros ortográficos ou registrados incorretamente.
   2) Dados nulos, não únicos ou fora do intervalo.

7. Transformação
   Casos de teste: Valide se todas as regras de negócio e lógicas de transformação no mapa estão corretas.ping O documento é aplicado corretamente aos dados de origem antes de chegar ao destino.
8. Qualidade de dados
   Casos de teste:

   1) Verificação de números: validar formatos e valores numéricos.
   2) Verificação de datas: as datas devem seguir um formato único e ser consistentes em todos os registros.
   3) Verificação de precisão.
   4) Verificação de dados.
   5) Verificação de valor nulo.

9. Validação nula
   Casos de teste: Verifique os valores nulos onde "Não Nulo" está especificado para uma coluna específica.
10. Verificação duplicada
    Casos de teste:

    1) Valide a chave única, a chave primária e qualquer outra coluna que deva ser única de acordo com os requisitos de negócio para confirmar que não há linhas duplicadas.
    2) Verifique se existem valores duplicados em alguma coluna, por exemplo.tracextraídas de várias colunas de origem e combinadas em uma única coluna.
    3) Conforme os requisitos do cliente, assegure-se de que não existam duplicados em uma combinação de várias colunas no destino.

11. Validação de Data
    Casos de teste: Os valores de data são usados ​​em muitas áreas do desenvolvimento de ETL:

    1) Para saber a data de criação da linha.
    2) Identificar registros ativos da perspectiva de desenvolvimento ETL.
    3) Identificar registros ativos sob a perspectiva dos requisitos de negócio.
    4) Às vezes, com base nos valores das datas, são geradas atualizações e inserções.

12. Validação de dados completa
    Casos de teste:

    1) Valide o conjunto de dados completo nas tabelas de origem e destino usando uma consulta "menos" como a melhor solução.
    2) Você precisa realizar a operação de subtração de origem para destino e vice-versa.
    3) Se a consulta de subtração retornar qualquer valor, essas linhas devem ser consideradas incompatíveis.
    4) Combine as linhas entre a origem e o destino usando uma instrução de intersecção.
    5) A contagem retornada pela função intersect deve corresponder às contagens individuais das tabelas de origem e de destino.
    6) Se uma consulta de subtração retornar linhas e a contagem de interseção for menor que a contagem de origem ou de destino, existem linhas duplicadas.

13. Limpeza de dados
    Casos de teste: Colunas desnecessárias devem ser excluídas antes de serem carregadas na área de teste.

Tipos de erros de ETL

Mesmo com casos de teste robustos, os pipelines de ETL podem falhar de maneiras distintas. A imagem abaixo resume as categorias de erros que você deve observar, e a tabela a seguir descreve cada uma delas.

Tipo de bugs	Descrição
Bugs na interface do usuário/bugs cosméticos	• Relacionado à GUI do aplicativo • Estilo da fonte, tamanho da fonte, cores, alinhamento, erros ortográficos, navegação, etc.
Bug relacionado à análise de valor limite (BVA)	• Valores mínimos e máximos
Bug relacionado ao particionamento de classe de equivalência (ECP)	• Tipo válido e inválido
Bugs de entrada/saída	• Valores válidos não aceitos • Valores inválidos aceitos
Erros de cálculo	• Erros matemáticos • A saída final está errada
Erros de condição de carga	• Não permite múltiplos usuários • Não permite a carga esperada pelo cliente
Erros de condição de corrida	• Travamento e congelamento do sistema • O sistema não pode executar plataformas de cliente
Bugs de controle de versão	• Sem correspondência de logotipo • Nenhuma informação de versão disponível • Ocorre geralmente em Teste de regressão
Erros de hardware	• O dispositivo não está respondendo ao aplicativo
Bugs na fonte de ajuda	• Erros em documentos de ajuda

Teste de Data Warehouse

Teste de Data Warehouse O teste de data warehouse é um método de teste no qual os dados dentro de um data warehouse são testados quanto à integridade, confiabilidade, precisão e consistência, para garantir a conformidade com a estrutura de dados da empresa. O principal objetivo do teste de data warehouse é assegurar que os dados integrados dentro do data warehouse sejam suficientemente confiáveis ​​para que a empresa possa tomar decisões com base neles. Enquanto o teste de ETL se concentra na movimentação de dados, o teste de data warehouse abrange a camada mais ampla de armazenamento e geração de relatórios que o ETL alimenta.

Diferença entre teste de banco de dados e teste ETL

Embora ambas as disciplinas trabalhem com dados estruturados, elas respondem a perguntas diferentes. A tabela abaixo destaca o contraste prático:

Teste ETL	Teste de banco de dados
Verifica se os dados foram transferidos conforme o esperado.	O objetivo principal é verificar se os dados estão seguindo as regras e padrões definidos no modelo de dados.
Verifica se as contagens na origem e no destino correspondem e se os dados transformados estão conforme o esperado.	Verifica se não existem registros órfãos e se as relações entre chaves primárias estrangeiras são mantidas.
Verifica se as relações de chave primária estrangeira são preservadas durante o processo ETL.	Verifica se não existem tabelas redundantes e se a base de dados está normalizada de forma ideal.
Verifica a existência de duplicidades nos dados carregados.	Verifica se faltam dados nas colunas onde é necessário.

Teste de desempenho em ETL

Teste de desempenho em ETL é uma técnica de teste que garante que um sistema ETL possa lidar com a carga de múltiplos usuários e transações. O principal objetivo do ETL Teste de Desempenho O objetivo é otimizar e melhorar o desempenho da sessão, identificando e eliminando gargalos de desempenho. Os bancos de dados de origem e destino, mapeados.pingOs servidores, as sessões e o próprio sistema podem conter gargalos.

Uma das melhores ferramentas utilizadas para Teste e Otimização de Desempenho é o Informatica.

Responsabilidades de um testador ETL

As principais responsabilidades de um testador de ETL são divididas em três categorias:

• Mesa de palco / SFS ou MFS
• Lógica de transformação de negócios aplicada
• Target Carregamento de tabela a partir de arquivo de preparação ou tabela após a aplicação de uma transformação.

Algumas das responsabilidades diárias de um testador de ETL são:

• Teste o software ETL
• Componentes de teste do data warehouse ETL
• Executar testes de backend orientados a dados
• Criar, projetar e executar casos de testeplanos de teste e dispositivos de teste
• Identificar problemas e fornecer soluções para possíveis problemas.
• Aprovar requisitos e especificações de projeto
• Validar transferências de dados e testar arquivos planos
• Escreva consultas SQL para diversos cenários, como testes de contagem.

Automação de testes ETL

A metodologia geral de teste de ETL consiste em usar scripts SQL ou inspeção visual dos dados. Essas abordagens são demoradas, propensas a erros e raramente fornecem uma visão completa. cobertura de testePara acelerar a execução, melhorar a cobertura, reduzir custos e aprimorar defeito Na detecção de falhas em ambientes de produção e desenvolvimento, a automação é essencial. Uma ferramenta que oferece essa possibilidade é o Informatica.

As equipes modernas também combinam a automação tradicional com ferramentas auxiliares de IA que sugerem testes de transformação, geram dados de origem sintéticos e sinalizam desvios de esquema, liberando os testadores para se concentrarem na lógica de negócios complexa em vez da manutenção repetitiva de scripts.

Melhores práticas para testes ETL

1. Certifique-se de que os dados sejam transformados corretamente.
2. Os dados projetados devem ser carregados no data warehouse sem qualquer perda ou truncamento de dados.
3. Garantir que o aplicativo ETL rejeite adequadamente os dados inválidos, substituindo-os por valores padrão quando aplicável e gerando relatórios com essas informações.
4. Confirme se os dados são carregados no data warehouse dentro dos prazos prescritos e esperados para validar a escalabilidade e o desempenho.
5. Todos os métodos devem ter testes unitários apropriados, independentemente da visibilidade.
6. Para medir sua eficácia, todos os testes unitários devem utilizar técnicas de cobertura apropriadas.
7. Procure fazer uma única afirmação por caso de teste.
8. Criar testes de unidade que visam exceções.

Verificação de saída - Perguntas e respostas da entrevista de teste ETL

Perguntas Frequentes