¿Qué es la conciliación de datos? Definición, Proceso, Herramientas
David Carter
⚡ Resumen inteligente
La conciliación de datos verifica la información durante la migración comparando los datos de destino con los datos de origen. Esta página define el proceso, explica por qué se producen discrepancias, abarca la terminología clave, los tres métodos de conciliación, las mejores prácticas y las herramientas que automatizan el trabajo.
¿Qué es la conciliación de datos?
La conciliación de datos (DR) se define como un proceso de verificación de datos durante la migración de datos. En este proceso, los datos de destino se comparan con los datos de origen para garantizar que la arquitectura de migración esté transfiriendo los datos. La validación y conciliación de datos (DVR) es una tecnología que utiliza modelos matemáticos para procesar la información.
Conciliación de datos frente a validación de datos
Ambos términos aparecen juntos con tanta frecuencia que a menudo se tratan como uno solo, pero responden a preguntas diferentes y se dan en momentos distintos.
Validación de datos Esta herramienta pregunta si un valor individual es aceptable. Comprueba un registro según una regla: ¿es real la fecha?, ¿está bien formada la dirección de correo electrónico?, ¿existe el código de país en la lista de referencias? La validación solo necesita el registro que tiene delante, por lo que suele ejecutarse a medida que se introducen o cargan los datos.
Reconciliación de datos Esta comprobación verifica si dos conjuntos de datos coinciden. Compara recuentos, sumas y relaciones clave entre un sistema de origen y un sistema de destino, y solo puede ejecutarse una vez que ambos sistemas existen. Un registro puede cumplir con todas las reglas de validación y aun así generar un error de conciliación, ya sea porque se escribió dos veces o porque nunca llegó a registrarse.
| Punto de diferencia | Validación de datos | Reconciliación de datos |
|---|---|---|
| Pregunta respondida | ¿Este valor tiene el formato correcto? | ¿Coinciden la fuente y el destino? |
| <b></b><b></b> | Un único registro o campo | Dos conjuntos de datos completos |
| Cuando se ejecuta | En el momento de la entrada o durante la carga | Una vez completada la carga |
| Fallo típico detectado | Valor con formato incorrecto o fuera de rango. | Registros faltantes, duplicados o que no coinciden |
Dado que detectan fallos diferentes, una migración fiable utiliza ambos métodos en lugar de elegir entre ellos.
¿Por qué es importante la conciliación de datos?
En el proceso de migración de datos, es posible que se produzcan errores en el mapa.ping y lógica de transformación. Problemas como fallos en tiempo de ejecución, como interrupciones de red o transacciones fallidas, pueden corromper los datos.
Este tipo de errores puede provocar que los datos queden en un estado no válido. Esto puede generar diversos problemas, como:
- Registros faltantes
- Valores faltantes
- Valores incorrectos
- Registros duplicados
- Valores mal formateados
- Relaciones rotas entre tablas o sistemas
A continuación, se presentan razones importantes para utilizar el proceso de conciliación de datos:
- El uso de la conciliación de datos le ayuda, por ejemplotracobtener información precisa y fiable sobre el estado del proceso industrial a partir de datos de medición brutos.
- También ayuda a generar un conjunto de datos único y coherente que represente la operación de proceso más probable.
- Sin ello, los errores no detectados dan lugar a información inexacta y a problemas con el servicio al cliente.
- La conciliación de datos también es importante para la integración del control empresarial.
Además de lo anterior, la conciliación de datos ofrece muchas ventajas y beneficios.
Terminología asociada con la conciliación de datos
| Error bruto | Errores graves en las mediciones. Solo refleja errores de polarización, fallas del instrumento o picos de ruido anormales si solo se utiliza un período de promedio de tiempo corto. |
| Observabilidad | El análisis de observabilidad puede brindarle detalles sobre qué variables se pueden determinar para un conjunto determinado de restricciones y un conjunto de mediciones. |
| Diferencia | La varianza es una medida de la variabilidad de un sensor. |
| Redundancia | Ayuda a determinar qué mediciones deben estimarse a partir de otras variables mediante el uso de ecuaciones de restricción. |
Historia de la conciliación de datos
Aquí se encuentran hitos esenciales de la historia de la reconciliación de datos.
- DVR (validación y reconciliación de datos) comenzó a principios de la década de 1960. Su objetivo era cerrar los balances de materia en la producción donde las mediciones brutas estuvieran disponibles para todas las variables.
- A finales de la década de 1960, todas las variables no medidas se consideraban en el proceso de conciliación de datos.
- Stanley y Mah introdujeron en 1977 la dinámica de estado casi estacionario para el filtrado y la estimación de parámetros paralelos a lo largo del tiempo.
- Dynamic DVR fue desarrollado como un modelo de optimización no lineal emitido por Liebman en el año 1992.
Grupos de práctica modernos que trabajan en tres métodos de reconciliación distintos.
Proceso de conciliación de datos
Los tipos de métodos de reconciliación de datos son:
Conciliación de datos maestros
La conciliación de datos maestros es una técnica que consiste en conciliar únicamente los datos maestros entre el origen y el destino. Los datos maestros en su mayor parte no cambian o cambian lentamente por naturaleza, y no se realiza ninguna operación de agregación en el conjunto de datos.
Algunos ejemplos comunes de conciliación de datos maestros son:
- Número total de filas
- Cliente total en origen y destino
- Número total de elementos en origen y destino
- Recuento total de filas según la condición dada
- Numero de usuarios activos
- Número de usuarios inactivos, etc.
Conciliación de datos transaccionales
Los datos transaccionales constituyen la base de los informes de BI. Por lo tanto, cualquier discrepancia en los datos transaccionales puede afectar directamente la confiabilidad del informe y de todo el sistema de BI en general.
El método de conciliación de datos transaccionales se utiliza en términos de la suma total, lo que evita cualquier discrepancia causada por el cambio en la granularidad de las dimensiones calificadas.
Ejemplos de medidas utilizadas para la conciliación de datos transaccionales deberían ser:
- Suma del ingreso total calculado a partir de la fuente y el destino
- Suma de todos los artículos vendidos, calculada a partir del origen y el destino, etc.
Conciliación de datos automatizada
En un gran sistema de gestión de almacén de datos, es conveniente automatizar el proceso de conciliación de datos convirtiéndolo en una parte integral de la carga de datos. Le permite mantener tablas de metadatos de carga separadas. Además, la conciliación automatizada mantendrá a todas las partes interesadas informadas sobre la validez de los informes.
Mejores prácticas de uso de la conciliación de datos
- El proceso de conciliación de datos debe tener como objetivo corregir los errores de medición.
- Los errores graves deben ser cero para que el proceso de conciliación de datos sea eficiente.
- El enfoque estándar de conciliación de datos se ha basado en simples recuentos de registros para mantener track de si el número objetivo de registros se ha migrado o no.
- La solución de migración de datos ofrece capacidades de conciliación y prototipos de datos similares.ping Funcionalidad que ofrece pruebas de conciliación de datos de volumen completo.
Precisión de la actividad
Además de los recuentos y los totales, la actividad subyacente en sí misma debe resistir cualquier inspección.
- Debe asegurarse de que las transacciones sean válidas y tengan el propósito correcto.
- Necesidad de comprobar si las transacciones han sido autorizadas correctamente.
Herramientas de conciliación de datos
1) AbrirRefinar
OpenRefine, que antes se conocía como Google Refine es un marco de trabajo útil para la reconciliación de bases de datos. Permite limpiar y transferir datos desordenados.
Enlace de descarga: https://openrefine.org/
2) TIBCO
Esta herramienta de conciliación de datos ofrece servicios de software bajo demanda a través de la web, bajo el modelo de Software como Servicio (SaaS). Permite a los usuarios validar y limpiar los datos, e incluye funciones completas de prueba de conciliación. Se utiliza ampliamente en procesos ETL. Originalmente, esta funcionalidad se comercializaba como TIBCO Clarity y ahora forma parte del portafolio de gestión de datos de TIBCO.
Download Link: https://www.tibco.com/solutions/data-management
3) Winpure
Winpure es un software de limpieza de datos asequible y preciso. Permite limpiar grandes cantidades de datos, eliminando duplicados, corrigiendo y estandarizando para diseñar el conjunto de datos final.
Download Link: https://winpure.com/
