O que é reconciliação de dados? Definição, Processo, Ferramentas
David Carter
⚡ Resumo Inteligente
A reconciliação de dados verifica as informações durante a migração, comparando os dados de destino com os dados de origem. Esta página define o processo, explica por que ocorrem incompatibilidades, aborda a terminologia principal, os três métodos de reconciliação, as melhores práticas e as ferramentas que automatizam o trabalho.
O que é reconciliação de dados?
A reconciliação de dados (DR) é definida como um processo de verificação de dados durante a migração de dados. Neste processo, os dados de destino são comparados com os dados de origem para garantir que a arquitetura de migração esteja transferindo dados. Validação e reconciliação de dados (DVR) significa uma tecnologia que utiliza modelos matemáticos para processar informações.
Reconciliação de dados versus validação de dados
Os dois termos aparecem juntos com tanta frequência que são muitas vezes tratados como um só, mas respondem a perguntas diferentes e ocorrem em momentos diferentes.
Data de validade A validação verifica se um único valor é aceitável por si só. Ela compara um registro com uma regra: a data é real? O endereço de e-mail está bem formado? O código do país existe na lista de referência? A validação precisa apenas do registro em questão, portanto, geralmente é executada à medida que os dados são inseridos ou carregados.
Reconciliação de dados A verificação verifica se dois conjuntos de dados concordam. Ela compara contagens, somas e relações-chave entre um sistema de origem e um sistema de destino, e só pode ser executada quando ambos os lados existirem. Um registro pode passar por todas as regras de validação e ainda assim ser considerado uma falha de reconciliação, porque foi gravado duas vezes ou nunca chegou a existir.
| Ponto de diferença | Validação de dados | Reconciliação de dados |
|---|---|---|
| Pergunta respondida | Este valor está correto no formato? | A fonte e o alvo concordam? |
| Objetivo | Um único registro ou campo | Dois conjuntos de dados completos |
| Quando ele funciona | Na entrada ou durante o carregamento | Após a conclusão do carregamento |
| Falha típica detectada | Valor mal formatado ou fora do intervalo permitido | Registros ausentes, duplicados ou não correspondentes |
Como detectam falhas diferentes, uma migração confiável usa ambas em vez de escolher entre elas.
Por que a reconciliação de dados é importante?
No processo de migração de dados, é possível que ocorram erros no mapa.ping e lógica de transformação. Problemas como falhas em tempo de execução, como quedas de rede ou transações interrompidas, podem corromper os dados.
Esses tipos de erros podem levar a que os dados fiquem em um estado inválido. Isso pode gerar uma série de problemas, como:
- Registros ausentes
- Valores faltantes
- Valores incorretos
- Registros duplicados
- Valores mal formatados
- Relacionamentos quebrados entre tabelas ou sistemas
Aqui estão alguns motivos importantes para usar o processo de reconciliação de dados:
- O uso da reconciliação de dados ajuda você, por exemplo.tracObtenção de informações precisas e confiáveis sobre o estado dos processos industriais a partir de dados brutos de medição.
- Isso também ajuda a produzir um conjunto único e consistente de dados que represente a operação de processo mais provável.
- Sem isso, erros não detectados levam a percepções imprecisas e problemas no atendimento ao cliente.
- A reconciliação de dados também é importante para a integração do controle empresarial.
Além do exposto acima, existem muitas outras vantagens e benefícios na reconciliação de dados.
Terminologia associada à reconciliação de dados
| Erro bruto | Erros grosseiros nas medições. Ele reflete apenas erros de polarização, falhas de instrumentos ou picos de ruído anormais se você estiver usando apenas um período de média curto. |
| Observabilidade | A análise de observabilidade pode fornecer detalhes sobre quais variáveis podem ser determinadas para um determinado conjunto de restrições e um conjunto de medições. |
| variação | A variância é uma medida da variabilidade de um sensor. |
| Redundância | Isso ajuda a determinar quais medidas devem ser estimadas a partir de outras variáveis, utilizando as equações de restrição. |
História da reconciliação de dados
Aqui estão marcos essenciais da história da Reconciliação de Dados.
- DVR (validação e reconciliação de dados) começou no início dos anos 1960. O objetivo era fechar balanços de materiais na produção onde as medições brutas estivessem disponíveis para todas as variáveis.
- No final da década de 1960, todas as variáveis não medidas foram consideradas no processo de reconciliação de dados.
- A dinâmica de estado quase estacionário para filtragem e estimativa de parâmetros paralelos ao longo do tempo foi introduzida em 1977 por Stanley e Mah.
- O DVR dinâmico foi desenvolvido como um modelo de otimização não linear lançado pela Liebman no ano de 1992.
Grupos de prática modernos que se dividem em três métodos distintos de reconciliação.
Processo de reconciliação de dados
Os tipos de métodos de reconciliação de dados são:
Reconciliação de dados mestre
A reconciliação de dados mestre é uma técnica de reconciliação apenas dos dados mestre entre a origem e o destino. Os dados mestres são, em sua maioria, imutáveis ou mudam lentamente por natureza, e nenhuma operação de agregação é feita no conjunto de dados.
Alguns exemplos comuns de reconciliação de dados mestre são:
- Número total de linhas
- Cliente total na origem e no destino
- Número total de itens na origem e no destino
- Contagem total de linhas com base em determinada condição
- Número de usuários ativos
- Número de usuários inativos etc.
Reconciliação de dados transacionais
Os dados transacionais constituem a base dos relatórios de BI. Portanto, qualquer incompatibilidade nos dados transacionais pode impactar diretamente na confiabilidade do relatório e de todo o sistema de BI em geral.
O método de reconciliação de dados transacionais é usado em termos de soma total, o que evita qualquer incompatibilidade causada pela alteração da granularidade das dimensões qualificadas.
Exemplos de medidas utilizadas para reconciliação de dados transacionais devem ser:
- Soma da renda total calculada a partir da origem e da meta
- Soma de todos os itens vendidos, calculada a partir da origem e do destino, etc.
Reconciliação automatizada de dados
Em grandes sistemas de gerenciamento de data warehouse, é conveniente automatizar o processo de reconciliação de dados, tornando-o parte integrante do carregamento de dados. Ele permite que você mantenha tabelas de metadados de carregamento separadas. Além disso, a reconciliação automatizada manterá todas as partes interessadas informadas sobre a validade dos relatórios.
Melhores práticas de utilização da reconciliação de dados
- O processo de reconciliação de dados deve ter como objetivo corrigir erros de medição.
- Os erros grosseiros devem ser zero para tornar o processo de reconciliação de dados eficiente.
- A abordagem padrão de reconciliação de dados tem se baseado em simples contagens de registros para manter track indica se o número alvo de registros foi migrado ou não.
- A solução de migração de dados oferece recursos semelhantes de reconciliação e prototipagem de dados.ping Funcionalidade que oferece testes de reconciliação de dados em volume completo.
Precisão da Atividade
Além das contagens e totais, a atividade subjacente em si deve resistir à inspeção.
- Você precisa ter certeza de que as transações são válidas e têm a finalidade correta.
- É necessário verificar se as transações foram devidamente autorizadas.
Ferramentas de reconciliação de dados
1) OpenRefine
OpenRefine, que antes era conhecido como Google Refine é uma estrutura útil para reconciliação de bancos de dados. Permite limpar e transferir dados desorganizados.
Link para download: https://openrefine.org/
2) TIBCO
Esta ferramenta de reconciliação de dados oferece serviços de software sob demanda pela web, na forma de Software como Serviço (SaaS). Ela permite que os usuários validem e limpem os dados, além de fornecer recursos completos de teste de reconciliação. É amplamente utilizada em processos ETL. Originalmente comercializada como TIBCO Clarity, agora faz parte do portfólio de gerenciamento de dados da TIBCO.
Download link: https://www.tibco.com/solutions/data-management
3) Winpure
O Winpure é um software de limpeza de dados acessível e preciso. Ele permite limpar grandes quantidades de dados, removendo duplicados, corrigindo e padronizando para criar o conjunto de dados final.
Download link: https://winpure.com/
