O que é reconciliação de dados? Definição, Processo, Ferramentas
O que é reconciliação de dados?
A reconciliação de dados (DR) é definida como um processo de verificação de dados durante a migração de dados. Neste processo, os dados de destino são comparados com os dados de origem para garantir que a arquitetura de migração esteja transferindo dados. Validação e reconciliação de dados (DVR) significa uma tecnologia que utiliza modelos matemáticos para processar informações.
Por que a reconciliação de dados é importante?
No processo de migração de dados é possível que ocorram erros na lógica de mapeamento e transformação. Problemas como falhas de tempo de execução, como interrupções na rede ou transações interrompidas, podem corromper os dados.
Esse tipo de erro pode fazer com que os dados sejam deixados em um estado inválido. Isso pode criar uma série de problemas como:
- Registros ausentes
- Valores faltantes
- Valores incorretos
- Registros duplicados
- Valores mal formatados
- Relacionamentos quebrados entre tabelas ou sistemas
Aqui estão motivos importantes para usar o Processo de Reconciliação de Dados:
- O uso da Reconciliação de Dados ajuda você a extrair informações precisas e confiáveis sobre o estado dos processos da indústria a partir de dados brutos de medição.
- Também ajuda a produzir um único conjunto consistente de dados que representa a operação do processo mais provável.
- Isso também leva a insights imprecisos e problemas com o atendimento ao cliente.
- A reconciliação de dados também é importante para a integração do controle empresarial.
Além do acima exposto, há muitas vantagens/benefícios na reconciliação de dados.
Terminologia associada à reconciliação de dados
Erro bruto | Erros grosseiros nas medições. Ele reflete apenas erros de polarização, falhas de instrumentos ou picos de ruído anormais se você estiver usando apenas um período de média curto. |
Observabilidade | A análise de observabilidade pode fornecer detalhes sobre quais variáveis podem ser determinadas para um determinado conjunto de restrições e um conjunto de medições. |
variação | A variância é uma medida da variabilidade de um sensor. |
Redundância | Ele ajuda você a determinar quais medidas devem ser estimadas a partir de outras variáveis usando as equações de restrição. |
História da reconciliação de dados
Aqui estão marcos essenciais da história da Reconciliação de Dados.
- DVR (validação e reconciliação de dados) começou no início dos anos 1960. O objetivo era fechar balanços de materiais na produção onde as medições brutas estivessem disponíveis para todas as variáveis.
- No final da década de 1960, todas as variáveis não medidas foram consideradas no processo de reconciliação de dados.
- A dinâmica de estado quase estacionário para filtragem e estimativa de parâmetros paralelos ao longo do tempo foi introduzida em 1977 por Stanley e Mah.
- O DVR dinâmico foi desenvolvido como um modelo de otimização não linear lançado pela Liebman no ano de 1992.
Processo de reconciliação de dados
Os tipos de métodos de reconciliação de dados são:
Reconciliação de dados mestre
A reconciliação de dados mestre é uma técnica de reconciliação apenas dos dados mestre entre a origem e o destino. Os dados mestres são, em sua maioria, imutáveis ou mudam lentamente por natureza, e nenhuma operação de agregação é feita no conjunto de dados.
Alguns exemplos comuns de reconciliação de dados mestre são:
- Número total de linhas
- Cliente total na origem e no destino
- Número total de itens na origem e no destino
- Contagem total de linhas com base em determinada condição
- Número de usuários ativos
- Número de usuários inativos etc.
Precisão da Atividade
- Você precisa ter certeza de que as transações são válidas e têm a finalidade correta.
- É necessário verificar se as transações foram devidamente autorizadas.
Reconciliação de dados transacionais
Os dados transacionais constituem a base dos relatórios de BI. Portanto, qualquer incompatibilidade nos dados transacionais pode impactar diretamente na confiabilidade do relatório e de todo o sistema de BI em geral.
O método de reconciliação de dados transacionais é usado em termos de soma total, o que evita qualquer incompatibilidade causada pela alteração da granularidade das dimensões qualificadas.
Exemplos de medidas utilizadas para reconciliação de dados transacionais devem ser:
- Soma da renda total calculada a partir da origem e da meta
- Soma de todo o item vendido, calculada a partir da origem e do destino, etc.
Reconciliação automatizada de dados
Em grandes sistemas de gerenciamento de data warehouse, é conveniente automatizar o processo de reconciliação de dados, tornando-o parte integrante do carregamento de dados. Ele permite que você mantenha tabelas de metadados de carregamento separadas. Além disso, a reconciliação automatizada manterá todas as partes interessadas informadas sobre a validade dos relatórios.
Melhores práticas de uso de reconciliação de dados
- O processo de reconciliação de dados deve ter como objetivo corrigir erros de medição.
- Os erros grosseiros devem ser zero para tornar o processo de reconciliação de dados eficiente.
- A abordagem padrão da Reconciliação de Dados tem se baseado em contagens simples de registros para controlar se o número alvo de registros migrou ou não.
- A solução de migração de dados oferece recursos de reconciliação semelhantes e funcionalidade de prototipagem de dados que oferece testes de reconciliação de dados de volume total.
Ferramentas de reconciliação de dados
1) OpenRefine
OpenRefine, anteriormente conhecido como Google Refine, é uma estrutura útil de reconciliação de banco de dados. Ele permite que você limpe e transfira dados confusos.
Link para download: https://openrefine.org/
2) Clareza TIBCO
Esta ferramenta de reconciliação de dados oferece serviços de software sob demanda da web na forma de software como serviço. Ele permite que os usuários validem os dados e limpem os dados. Ele fornece recursos completos de teste de reconciliação. Amplamente utilizado no processo ETL.
Download link: https://www.tibco.com/
3) Winpure
Winpure é um software de limpeza de dados preciso e acessível. Permite limpar uma grande quantidade de dados, removendo duplicatas, corrigindo e padronizando para desenhar o conjunto de dados final.
Download link: https://winpure.com/
Resumo
- Validação e reconciliação de dados (DVR) é uma tecnologia que utiliza modelos matemáticos para processar informações.
- O uso da reconciliação de dados ajuda você a extrair informações precisas e confiáveis sobre o estado dos processos da indústria a partir de dados de medição brutos.
- Erro bruto, observabilidade, variação, redundância são termos importantes usados no processo de reconciliação de dados
- A validação e reconciliação de dados começaram no início da década de 1960.
- Três tipos de métodos de reconciliação de dados são 1) Reconciliação de dados mestre 2) Reconciliação de dados transacionais 3) Reconciliação automatizada de dados
- Os erros grosseiros devem ser zero para tornar o processo de reconciliação de dados eficiente.
- Algumas ferramentas importantes de reconciliação de dados são: 1) OpenRefine 2) TIBCO 3) Winpure
- Este método amplamente utilizado no desempenho e monitoramento de processos na indústria de refino de petróleo/nuclear/química