Tutorial de pruebas de Big Data: qué es, estrategia, cómo probar Hadoop
Prafulla Ranadive
Pruebas de grandes datos
Pruebas de grandes datos es un proceso de prueba de una aplicación de big data para garantizar que todas las funcionalidades de una aplicación de big data funcionen como se espera. El objetivo de las pruebas de big data es garantizar que el sistema de big data funcione sin problemas y sin errores, manteniendo al mismo tiempo el rendimiento y la seguridad.
Big data es una colección de grandes conjuntos de datos que no se pueden procesar mediante técnicas informáticas tradicionales. Pruebas de estos conjuntos de datos implica varias herramientas, técnicas y marcos para procesar. Big data se relaciona con la creación, el almacenamiento, la recuperación y el análisis de datos que son notables en términos de volumen, variedad y velocidad. Puedes aprender más sobre Big Data, Hadoop y MapReduce aquí
¿Qué es la estrategia de prueba de Big Data?
Probar una aplicación de Big Data implica más verificar su procesamiento de datos que probar las características individuales del producto de software. Cuando se trata de pruebas de Big Data, pruebas funcionales y de rendimiento son las claves.
En la estrategia de pruebas de Big Data, los ingenieros de control de calidad verifican el procesamiento exitoso de terabytes de datos utilizando un clúster de productos básicos y otros componentes de apoyo. Exige un alto nivel de habilidades de prueba ya que el procesamiento es muy rápido. El procesamiento puede ser de tres tipos
Además de esto, la calidad de los datos también es un factor importante en las pruebas de Hadoop. Antes de probar la aplicación, es necesario comprobar la calidad de los datos y debe considerarse como parte de las pruebas de la base de datos. Implica comprobar diversas características como conformidad, exactitud, duplicación, coherencia, validez, integridad de los datos, etc. A continuación, en este tutorial de prueba de Hadoop, aprenderemos cómo probar aplicaciones de Hadoop.
Cómo probar aplicaciones Hadoop
La siguiente figura ofrece una descripción general de alto nivel de las fases de prueba de aplicaciones de Big Data.
Big Data Testing o Hadoop Testing se pueden dividir en tres pasos
Paso 1: Validación de la puesta en escena de los datos
El primer paso de este tutorial de prueba de big data se denomina etapa previa a Hadoop e implica la validación del proceso.
- Datos de diversas fuentes como RDBMS, blogs, redes sociales, etc. deben validarse para garantizar que se introduzcan los datos correctos en el sistema.
- Comparar los datos de origen con los datos introducidos en el sistema Hadoop para asegurarse de que coincidan
- Verifique que los datos correctos se extraigan y carguen en la ubicación HDFS correcta
Herramientas como Talend, datos, se puede utilizar para la validación de la preparación de datos
Paso 2: Validación de "MapReduce"
El segundo paso es una validación de "MapReduce". En esta etapa, el evaluador de Big Data verifica la validación de la lógica de negocios en cada nodo y luego los valida después de ejecutarlos en múltiples nodos, asegurando que el
- El proceso de reducción de mapas funciona correctamente
- Se implementan reglas de agregación o segregación de datos en los datos.
- Se generan pares clave-valor
- Validar los datos después del proceso Map-Reduce
Paso 3: Fase de validación de salida
La última o tercera etapa de las pruebas de Hadoop es el proceso de validación de resultados. Los archivos de datos de salida se generan y están listos para ser movidos a un EDW (Enterprise Data Warehouse) o cualquier otro sistema según los requisitos.
Las actividades de la tercera etapa incluyen
- Para comprobar que las reglas de transformación se aplican correctamente
- Para verificar la integridad de los datos y la carga exitosa de datos en el sistema de destino
- Para comprobar que no hay daños en los datos comparando los datos de destino con los datos del sistema de archivos HDFS
ArchiPruebas de tecnología
Hadoop procesa volúmenes muy grandes de datos y consume muchos recursos. Por lo tanto, las pruebas de arquitectura son cruciales para garantizar el éxito de su proyecto de Big Data. Un sistema mal diseñado o mal diseñado puede provocar una degradación del rendimiento y el sistema podría no cumplir con los requisitos. Al menos, Prueba de rendimiento y conmutación por error Los servicios deben realizarse en un entorno Hadoop.
Pruebas de rendimiento incluye pruebas del tiempo de finalización del trabajo, utilización de la memoria, rendimiento de datos y métricas similares del sistema. Si bien el motivo del servicio de prueba de conmutación por error es verificar que el procesamiento de datos se realice sin problemas en caso de falla de los nodos de datos.
Test de rendimiento
Las pruebas de rendimiento para Big Data incluyen dos acciones principales
- Ingestión de datos y todo: En esta etapa, el probador de Big Data verifica cómo el sistema rápido puede consumir datos de varias fuentes de datos. Las pruebas implican identificar un mensaje diferente que la cola puede procesar en un período de tiempo determinado. También incluye la rapidez con la que se pueden insertar datos en el almacén de datos subyacente, por ejemplo, la tasa de inserción en un Mongo y Cassandra base de datos de CRISPR Medicine News.
Enfoque de prueba de rendimiento
Las pruebas de rendimiento para aplicaciones de big data implican probar grandes volúmenes de datos estructurados y no estructurados, y requieren un enfoque de prueba específico para probar datos tan masivos.
Las pruebas de rendimiento se ejecutan en este orden.
- El proceso comienza con la configuración del clúster de Big Data cuyo rendimiento se va a probar.
- Identificar y diseñar cargas de trabajo correspondientes.
- Preparar clientes individuales (se crean scripts personalizados)
- Ejecute la prueba y analice el resultado (si no se cumplen los objetivos, ajuste el componente y vuelva a ejecutarlo)
- Configuración óptima
Parámetros para pruebas de rendimiento
Varios parámetros a verificar para las pruebas de rendimiento son
- Almacenamiento de datos: cómo se almacenan los datos en diferentes nodos
- Registros de confirmación: qué tamaño puede crecer el registro de confirmación
- Simultaneidad: ¿Cuántos subprocesos pueden realizar operaciones de escritura y lectura?
- Almacenamiento en caché: ajuste la configuración de caché "caché de fila" y "caché de clave".
- Tiempos de espera: valores para el tiempo de espera de conexión, tiempo de espera de consulta, etc.
- Parámetros de JVM: tamaño del montón, algoritmos de recopilación de GC, etc.
- El mapa reduce el rendimiento: ordena, fusiona, etc.
- Cola de mensajes: tasa de mensajes, tamaño, etc.
Necesidades del entorno de prueba
El entorno de prueba debe depender del tipo de aplicación que esté probando. Para las pruebas de software de Big Data, el entorno de prueba debe abarcar
- Debe tener suficiente espacio para almacenar y procesar una gran cantidad de datos.
- Debe tener un clúster con nodos y datos distribuidos.
- Debe tener una utilización mínima de CPU y memoria para mantener el rendimiento alto y probar el rendimiento de Big Data.
Pruebas de big data vs. Pruebas de bases de datos tradicionales
| Propiedades | Pruebas de bases de datos tradicionales | Pruebas de grandes datos |
|---|---|---|
| Data | Trabajo de prueba con datos estructurados. | El probador trabaja tanto con datos estructurados como no estructurados. |
| Enfoque de prueba | El enfoque de prueba está bien definido y probado en el tiempo. | El enfoque de prueba requiere esfuerzos de I+D centrados |
| Estrategia de prueba | El probador tiene la opción de realizar la estrategia de "muestreo" manualmente o la estrategia de "verificación exhaustiva" mediante la herramienta de automatización. | La estrategia de “muestreo” en Big data es un desafío |
| Infraestructura | No requiere un entorno de prueba especial ya que el tamaño del archivo es limitado | Requiere un entorno de prueba especial debido al gran tamaño de datos y archivos (HDFS) |
| Herramientas de validación | Tester utiliza el sistema basado en Excel macros o herramientas de automatización basadas en UI | No hay herramientas definidas, la gama es amplia, desde herramientas de programación como MapReduce hasta HIVEQL. |
| Herramientas de prueba | Las herramientas de prueba se pueden utilizar con conocimientos operativos básicos y menos capacitación. | Para operar una herramienta de prueba se requiere un conjunto específico de habilidades y capacitación. Además, las herramientas están en su etapa inicial y con el tiempo pueden surgir nuevas funciones. |
Herramientas utilizadas en escenarios de Big Data
| Big Data Cluster | Herramientas de Big Data |
|---|---|
| No SQL: | CouchDB, Bases de datos MongoDB, Cassandra, Redis, ZooKeeper, HBase |
| Mapa reducido: | Hadoop, Hive, Pig, Cascading, Oozie, Kafka, S4, MapR, Flume |
| Almacenamiento: | S3, HDFS (sistema de archivos distribuido Hadoop) |
| Servidores | Elástico, Heroku, Elástico, Google App Engine, EC2 |
| Tratamiento | R, Yahoo! Tuberías, Mechanical Turk, BigSheets, Datameer |
Desafíos en las pruebas de Big Data
- Automatización
Pruebas de automatización para Big data se requiere alguien con experiencia técnica. Además, las herramientas automatizadas no están equipadas para manejar problemas inesperados que surgen durante las pruebas.
- Virtualization
Es una de las fases integrales de las pruebas. La latencia de la máquina virtual crea problemas de sincronización en las pruebas de rendimiento de big data en tiempo real. También gestionar imágenes en Big data es una molestia.
- Gran conjunto de datos
- Necesita verificar más datos y hacerlo más rápido
- Necesidad de automatizar el esfuerzo de prueba.
- Es necesario poder realizar pruebas en diferentes plataformas.
Desafíos de las pruebas de rendimiento
- Conjunto diverso de tecnologías.: Cada subcomponente pertenece a una tecnología diferente y requiere pruebas de forma aislada
- Falta de disponibilidad de herramientas específicas: Ninguna herramienta por sí sola puede realizar pruebas de un extremo a otro. Por ejemplo, NoSQL Puede que no sea adecuado para colas de mensajes.
- Prueba de secuencias de comandos: Se necesita un alto grado de secuencias de comandos para diseñar escenarios de prueba y casos de prueba.
- Entorno de prueba: Necesita un entorno de prueba especial debido al gran tamaño de los datos
- Solución de monitoreo: Existen soluciones limitadas que pueden monitorear todo el entorno.
- Solución de diagnóstico: se requiere desarrollar una solución personalizada para profundizar en las áreas de cuello de botella de rendimiento
Resumen
- A medida que la ingeniería y el análisis de datos avanzan al siguiente nivel, las pruebas de big data son inevitables.
- El procesamiento de big data puede ser por lotes, en tiempo real o interactivo
- Las 3 etapas de prueba de aplicaciones de Big Data son la validación de preparación de datos, la validación de "MapReduce" y la fase de validación de salida.
- ArchiLas pruebas de tecnología son la fase importante de las pruebas de Big Data, ya que un sistema mal diseñado puede provocar errores sin precedentes y una degradación del rendimiento.
- Las pruebas de rendimiento para Big Data incluyen la verificación del rendimiento de los datos, el procesamiento de datos y el rendimiento de los subcomponentes.
- Las pruebas de Big Data son muy diferentes de las pruebas de datos tradicionales en términos de datos, infraestructura y herramientas de validación.
- Los desafíos de Big Data Testing incluyen la virtualización, la automatización de pruebas y el manejo de grandes conjuntos de datos. Las pruebas de rendimiento de las aplicaciones de Big Data también son un problema.
