Tutorial de pruebas ETL

¿Qué es ETL?

ETL son las siglas de Extract-Transformación-Cargay describe cómo los datos se mueven desde un sistema de origen a un almacén de datos. Los datos se extraentracLos datos se obtienen de una base de datos OLTP, se transforman para que coincidan con el esquema del almacén de datos y se cargan en la base de datos del almacén. Muchos almacenes también incorporan datos de sistemas que no son OLTP, como archivos de texto, aplicaciones heredadas y hojas de cálculo.

Por ejemplo, una tienda minorista puede tener departamentos separados como ventas, marketing y logística. Cada departamento maneja la información del cliente de forma independiente, y la manera en que cada uno almacena esos datos difiere. El departamento de ventas puede almacenar los registros por nombre del cliente, mientras que el departamento de marketing utiliza el ID del cliente.

Si los equipos comerciales quieren revisar el historial completo de compras de un cliente en diferentes campañas de marketing, los datos desconectados hacen que sea muy tedioso. La solución es utilizar un datawarehouse Almacenar información de diferentes fuentes en una estructura uniforme mediante ETL. ETL puede transformar conjuntos de datos dispares en una estructura unificada, de modo que las herramientas de BI puedan posteriormente obtener información valiosa e informes.

El siguiente diagrama muestra el flujo del proceso de pruebas ETL y los conceptos clave que utilizará a lo largo de esta guía:

1) Ejemplotract

• Extract datos relevantes de uno o más sistemas de origen.

2) Transformar

• Transformar los datos al formato DW (Data Warehouse).
• Construir claves: una clave es uno o más atributos de datos que identifican de forma única una entidad. Varios tipos de llaves Se trata de claves primarias, claves alternativas, claves foráneas, claves compuestas y claves subrogadas. El almacén de datos es el propietario de estas claves y nunca permite que ninguna otra entidad las asigne.
• Limpieza de datos: después de que los datos se hayan extraídotracA continuación, se pasa a la siguiente fase de limpieza y estandarización. La limpieza corrige omisiones e identifica errores. La estandarización resuelve conflictos entre conjuntos de datos incompatibles para que puedan utilizarse en un almacén de datos empresarial. El sistema también crea metadatos que ayudan a diagnosticar problemas en el sistema de origen y a mejorar la calidad de los datos.

3) Carga

• Cargar datos en el DW (almacén de datos).
• Construir agregados: un agregado resume y almacena datos de un tabla de hechos para mejorar el rendimiento de las consultas de los usuarios finales.

¿Qué son las pruebas ETL?

Las pruebas ETL se realizan para garantizar que los datos cargados desde un origen a un destino, después de la transformación empresarial, sean precisos. También implican la verificación de los datos en las diversas etapas intermedias entre el origen y el destino. Debido a que ETL significa Extract-Transform-Load, las pruebas ETL abarcan cada una de estas tres etapas y los puntos donde los datos se transfieren entre ellas.

¿Por qué son importantes las pruebas ETL?

Una vez que se comprende qué son las pruebas ETL, la siguiente pregunta es por qué las organizaciones invierten tanto esfuerzo en ellas. Las decisiones empresariales dependen de datos correctos, completos y fiables, por lo que un solo error de transformación puede repercutir en los informes financieros, el análisis de clientes y las divulgaciones regulatorias.

Los siguientes puntos explican el valor práctico de unas pruebas ETL sólidas:

• Precisión de los datos: Confirma que los valores transformados por las reglas de negocio coinciden con el mapa documentado.ping especificaciones, evitando la corrupción silenciosa.
• Información fiable: Los paneles de control y las herramientas de BI dependen del almacén de datos, por lo que las canalizaciones ETL verificadas protegen todos los informes y KPI posteriores.
• Cumplimiento normativo: Sectores como la banca, la sanidad y los seguros deben demostrar que el linaje y la integridad de los datos se preservan de principio a fin.
• Reducción del trabajo de repetición: Detectar los defectos en entornos de producción más avanzados evita costosas recargas de producción, conciliaciones manuales y errores que afectan directamente al cliente.
• Garantía de rendimiento: Las pruebas ETL miden las ventanas de carga, el rendimiento y los cuellos de botella para que el almacén de datos siga escalando a medida que aumenta el volumen de datos.

Una vez claras estas motivaciones, la siguiente sección describe el proceso estructurado que siguen los evaluadores de ETL en proyectos reales.

Proceso de prueba ETL

Al igual que otros procesos de prueba, ETL también pasa por diferentes fases. Las diferentes fases del proceso de prueba de ETL son las siguientes:

Las pruebas ETL se realizan en cinco etapas:

1. Identificación de fuentes y requisitos de datos
2. De adquisición de datos
3. Implementar la lógica de negocio y el modelado dimensional.
4. Crear y completar datos
5. Crear informes

Teniendo en cuenta el proceso general, veamos los tipos de pruebas específicas que se ajustan a este ciclo de vida.

Tipos de pruebas ETL

1. Pruebas de validación de producción
   Proceso de prueba: También conocida como “balanceo de tablas” o “conciliación de producción”, esta prueba ETL se realiza sobre los datos a medida que se incorporan a los sistemas de producción. Para respaldar las decisiones empresariales, los datos de producción deben estar en el orden correcto. informática La opción de validación de datos proporciona capacidades de automatización y gestión de pruebas ETL para que los sistemas de producción no se vean comprometidos por datos erróneos.
2. Fuente a Target Pruebas (pruebas de validación)
   Proceso de prueba: Este tipo de prueba valida si los valores de los datos transformados coinciden con los valores objetivo esperados.
3. Aplicación Upgrades
   Proceso de prueba: Este tipo de prueba ETL se puede generar automáticamente, ahorrando un tiempo considerable en el desarrollo de pruebas. Comprueba si los datos se procesan correctamente.tracLos datos obtenidos de una aplicación o repositorio anterior coinciden con los datos de una nueva aplicación o repositorio.
4. Pruebas de metadatos
   Proceso de prueba: Las pruebas de metadatos incluyen comprobaciones del tipo de datos, comprobaciones de la longitud de los datos y comprobaciones de índices o restricciones.
5. Pruebas de integridad de datos
   Proceso de prueba: Las pruebas de integridad de datos verifican que todos los datos esperados se carguen desde el origen al destino. Las pruebas comunes incluyen la comparación y validación de recuentos de registros, agregados y datos reales entre las columnas de origen y destino cuando la transformación es simple o inexistente.
6. Pruebas de precisión de datos
   Proceso de prueba: Estas pruebas garantizan que los datos se carguen y transformen correctamente, tal como se espera.
7. Pruebas de transformación de datos
   Proceso de prueba: A menudo, la transformación de datos de prueba no se puede lograr con una sola fuente. SQL consulta y comparación de resultados. Es posible que se necesiten varias consultas SQL para cada fila para verificar las reglas de transformación.
8. Pruebas de calidad de datos
   Proceso de prueba:

   Las pruebas de calidad de datos incluyen pruebas de sintaxis y pruebas de referencia. Estas previenen errores en los procesos comerciales causados ​​por fechas o números de pedido incorrectos.

   Las pruebas de sintaxis informan de datos erróneos en función de caracteres no válidos, patrones de caracteres incorrectos y un orden incorrecto de mayúsculas o minúsculas.

   Las pruebas de referencia verifican los datos con respecto al modelo de datos. Por ejemplo: ID de cliente.

   Las pruebas de calidad de los datos también incluyen comprobaciones numéricas, comprobaciones de fechas, comprobaciones de precisión, comprobaciones de datos y comprobaciones de valores nulos.

9. Pruebas ETL incrementales
   Proceso de prueba: Esta prueba verifica la integridad de los datos antiguos y nuevos al agregar nuevos datos. Las pruebas incrementales comprueban que las inserciones y actualizaciones se procesen según lo previsto durante el proceso ETL incremental.
10. Pruebas de GUI/Navegación
    Proceso de prueba: Esta prueba verifica los aspectos de navegación e interfaz gráfica de usuario (GUI) de los informes de la interfaz de usuario.

Cómo crear un caso de prueba ETL

Las pruebas ETL son un concepto que se puede aplicar a diferentes herramientas y bases de datos en la industria de la gestión de la información. El objetivo de las pruebas ETL es asegurar que los datos cargados desde una fuente a un destino después de la transformación del negocio sean precisos. También implica la verificación de los datos en las distintas etapas intermedias entre el origen y el destino.

Al realizar pruebas ETL, un probador ETL siempre utiliza dos documentos:

1. Mapa ETLping hojas: Un mapa ETLping La hoja contiene toda la información de las tablas de origen y destino, incluyendo cada columna y su búsqueda en las tablas de referencia. Los evaluadores de ETL deben sentirse cómodos con las consultas SQL porque las pruebas de ETL pueden implicar escribir consultas extensas con múltiples uniones para validar los datos en cualquier etapa. Mapa de ETLping Las hojas de cálculo son de gran ayuda a la hora de escribir consultas para la verificación de datos.
2. Esquema de la base de datos de origen y destino: Debe tenerse a mano para verificar cualquier detalle del mapa.ping sábanas.

Escenarios de prueba y casos de prueba de ETL

1. Mapearping validación de documentos
   Casos de prueba: Verifique si la información ETL correspondiente se proporciona en el mapa.ping doc. Se debe mantener un registro de cambios en cada mapa.ping doc.
2. de calidad
   Casos de prueba:

   1) Validar la estructura de la tabla de origen y destino con respecto al mapa correspondiente.ping doc.
   2) El tipo de datos de origen y el tipo de datos de destino deben ser iguales.
   3) La longitud de los tipos de datos tanto en el origen como en el destino debe ser igual.
   4) Verifique que se hayan especificado los tipos y formatos de los campos de datos.
   5) La longitud del tipo de datos de origen no debe ser menor que la longitud del tipo de datos de destino.
   6) Validar los nombres de las columnas de la tabla con respecto al mapa.ping doc.

3. Validación de restricciones
   Casos de prueba: Asegúrese de que las restricciones estén definidas para la tabla específica según lo previsto.
4. Problemas de coherencia de datos
   Casos de prueba:

   1) El tipo de datos y la longitud de un atributo en particular pueden variar entre archivos o tablas, incluso cuando la definición semántica es la misma.
   2) Mal uso de las restricciones de integridad.

5. Problemas de integridad
   Casos de prueba:

   1) Asegúrese de que todos los datos esperados se hayan cargado en la tabla de destino.
   2) Comparar los recuentos de registros entre el origen y el destino.
   3) Compruebe si hay registros rechazados.
   4) Compruebe que los datos no estén truncados en las columnas de las tablas de destino.
   5) Verifique el análisis de valores límite.
   6) Compare los valores únicos de los campos clave entre los datos cargados en el almacén y los datos de origen.

6. Problemas de corrección
   Casos de prueba:

   1) Datos mal escritos o registrados de forma inexacta.
   2) Datos nulos, no únicos o fuera de rango.

7. 
   Casos de prueba: Validar que cada regla de negocio y lógica de transformación en el mapaping El documento se aplica correctamente a los datos de origen antes de que lleguen al destino.
8. Calidad de los Datos
   Casos de prueba:

   1) Verificación numérica: validar formatos y valores numéricos.
   2) Verificación de fechas: las fechas deben seguir un formato único y ser consistentes en todos los registros.
   3) Verificación de precisión.
   4) Verificación de datos.
   5) Verificación de nulidad.

9. Validar nulo
   Casos de prueba: Verifique los valores nulos donde se especifique "No nulo" para una columna específica.
10. Cheque duplicado
    Casos de prueba:

    1) Valide la clave única, la clave primaria y cualquier otra columna que deba ser única según los requisitos del negocio para confirmar que no haya filas duplicadas.
    2) Compruebe si existen valores duplicados en alguna columna, por ejemplotracrecopilados de varias columnas de origen y combinados en una sola columna.
    3) Según los requisitos del cliente, asegúrese de que no existan duplicados en una combinación de varias columnas dentro del destino.

11. Validación de fecha
    Casos de prueba: Los valores de fecha se utilizan en muchas áreas del desarrollo de ETL:

    1) Conocer la fecha de creación de la fila.
    2) Identificar los registros activos desde la perspectiva del desarrollo de ETL.
    3) Identificar los registros activos desde la perspectiva de los requisitos del negocio.
    4) En ocasiones, en función de los valores de fecha, se generan actualizaciones e inserciones.

12. Validación completa de datos
    Casos de prueba:

    1) Validar el conjunto completo de datos en las tablas de origen y destino utilizando una consulta de resta como la mejor solución.
    2) Debes realizar origen menos destino y destino menos origen.
    3) Si la consulta de resta algún valor, esas filas deben considerarse no coincidentes.
    4) Compare las filas entre el origen y el destino utilizando una instrucción de intersección.
    5) El recuento devuelto por intersect debe coincidir con los recuentos individuales de las tablas de origen y destino.
    6) Si una consulta de resta devuelve filas y el recuento de intersección es menor que el recuento de origen o destino, existen filas duplicadas.

13. Limpieza de datos
    Casos de prueba: Las columnas innecesarias deben eliminarse antes de cargarlas en el área de preparación.

Tipos de errores ETL

Incluso con casos de prueba rigurosos, los procesos ETL pueden fallar de diversas maneras. La siguiente imagen resume las categorías de errores que debe tener en cuenta, y la tabla que la sigue describe cada una de ellas.

Tipo de errores	Mareas Ideales para Lecciones
Errores de interfaz de usuario/errores cosméticos	• Relacionado con la GUI de la aplicación • Estilo de fuente, tamaño de fuente, colores, alineación, errores ortográficos, navegación, etc.
Error relacionado con el análisis de valor límite (BVA)	• Valores mínimos y máximos
Error relacionado con la partición de clases de equivalencia (ECP)	• Tipo válido y no válido
Errores de entrada/salida	• No se aceptan valores válidos • Se aceptan valores no válidos
Errores de cálculo	• Errores matemáticos • El resultado final es incorrecto
Errores de condición de carga	• No permite múltiples usuarios • No permite la carga esperada por el cliente
Errores de condición de carrera	• El sistema se bloquea y se cuelga. • El sistema no puede ejecutar plataformas cliente
Errores de control de versiones	• No hay coincidencia de logotipo • No hay información de versión disponible • Suele ocurrir en Pruebas de regresión
Errores de hardware	• El dispositivo no responde a la aplicación
Errores de fuente de ayuda	• Errores en los documentos de ayuda

Pruebas de almacenamiento de datos

Pruebas de almacenamiento de datos Es un método de prueba en el que se verifica la integridad, confiabilidad, precisión y coherencia de los datos dentro de un almacén de datos para que cumplan con el marco de datos de la empresa. El objetivo principal de las pruebas de almacenes de datos es asegurar que los datos integrados dentro del almacén sean lo suficientemente confiables para que la empresa pueda tomar decisiones basadas en ellos. Mientras que las pruebas ETL se centran en el movimiento de datos, las pruebas de almacenes de datos abarcan la capa más amplia de almacenamiento e informes a la que finalmente alimenta ETL.

Diferencia entre pruebas de bases de datos y pruebas ETL

Si bien ambas disciplinas trabajan con datos estructurados, responden a preguntas diferentes. La siguiente tabla destaca el contraste práctico:

Prueba ETL	Pruebas de bases de datos
Verifica si los datos se transfieren según lo previsto.	El objetivo principal es comprobar si los datos cumplen las reglas y los estándares definidos en el modelo de datos.
Verifica si los recuentos en el origen y el destino coinciden, y si los datos transformados son los esperados.	Verifica que no existan registros huérfanos y que se mantengan las relaciones de clave primaria externa.
Verifica que las relaciones de clave primaria externa se conserven durante el proceso ETL.	Verifica que no existan tablas redundantes y que la base de datos esté normalizada de forma óptima.
Verifica si hay datos duplicados en los datos cargados.	Verifica si faltan datos en las columnas donde se requieren.

Pruebas de rendimiento en ETL

Pruebas de rendimiento en ETL es una técnica de prueba que garantiza que un sistema ETL pueda manejar la carga de múltiples usuarios y transacciones. El objetivo principal de ETL Test de rendimiento El objetivo es optimizar y mejorar el rendimiento de la sesión mediante la identificación y eliminación de cuellos de botella. Las bases de datos de origen y destino, mapeopingLas sesiones y el propio sistema pueden contener cuellos de botella.

Una de las mejores herramientas utilizadas para las pruebas y la optimización del rendimiento es Informatica.

Responsabilidades de un probador ETL

Las principales responsabilidades de un probador ETL se dividen en tres categorías:

• Mesa de escenario / SFS o MFS
• Lógica de transformación empresarial aplicada
• Target Carga de tabla desde archivo de etapa o tabla después de aplicar una transformación

Algunas de las responsabilidades diarias de un probador ETL son:

• Pruebe el software ETL
• Probar los componentes del almacén de datos ETL
• Ejecutar pruebas de backend basadas en datos
• Crear, diseñar y ejecutar Casos de pruebaplanes de prueba y arneses de prueba
• Identificar problemas y proporcionar soluciones para posibles problemas.
• Aprobar requisitos y especificaciones de diseño.
• Validar las transferencias de datos y probar los archivos planos.
• Escriba consultas SQL para diversos escenarios, como pruebas de conteo.

Automatización de pruebas ETL

La metodología general de las pruebas ETL consiste en utilizar scripts SQL o la inspección visual de los datos. Estos enfoques consumen mucho tiempo, son propensos a errores y rara vez proporcionan resultados completos. prueba de coberturaPara acelerar la ejecución, mejorar la cobertura, reducir los costos y mejorar precisa La detección en entornos de producción y desarrollo, así como la automatización, son imprescindibles hoy en día. Una de estas herramientas es Informatica.

Los equipos modernos también combinan la automatización tradicional con herramientas asistidas por IA que sugieren pruebas de transformación, generan datos de origen sintéticos y detectan desviaciones del esquema, lo que permite a los evaluadores centrarse en la lógica empresarial compleja en lugar del mantenimiento repetitivo de scripts.

Mejores prácticas para pruebas ETL

1. Asegúrese de que los datos se transformen correctamente.
2. Los datos proyectados deben cargarse en el almacén de datos sin pérdida ni truncamiento de datos.
3. Asegúrese de que la aplicación ETL rechace adecuadamente los datos no válidos, los reemplace con valores predeterminados cuando corresponda y lo notifique.
4. Confirme que los datos se cargan en el almacén dentro de los plazos establecidos y previstos para validar la escalabilidad y el rendimiento.
5. Todos los métodos deben contar con las pruebas unitarias adecuadas, independientemente de su visibilidad.
6. Para medir su eficacia, todas las pruebas unitarias deben utilizar técnicas de cobertura adecuadas.
7. Procure realizar una sola afirmación por caso de prueba.
8. Crear pruebas unitarias esas excepciones objetivo.

Revisa - Preguntas y respuestas de la entrevista de prueba ETL

Preguntas Frecuentes