¿Qué son las pruebas de referencia?

⚡ Resumen inteligente

Las pruebas de referencia establecen un estándar repetible y medible para el rendimiento de las aplicaciones, de modo que cada versión futura pueda compararse con él. Sin una base de referencia, un resultado de rendimiento es solo un número sin ningún criterio para evaluarlo.

  • 📏 Propósito principal: Cree una medida de referencia con la que se comparen las versiones posteriores.
  • 🔁 Regla de repetibilidad: Es necesario usar siempre el mismo hardware, los mismos datos y la misma configuración, de lo contrario la comparación carece de sentido.
  • 📐 Cuatro fases: Planificación, análisis, integración y acción, cada una con resultados definidos.
  • 🧪 Aislamiento: Modifique una variable por cada ejecución; de lo contrario, no se podrá atribuir ninguna diferencia.
  • 📊 Base de comparación: Los puntos de referencia comparan el rendimiento con una versión anterior, con un competidor o con un estándar de la industria.
  • ⚠️ Error común: Las pruebas de rendimiento realizadas en un entorno compartido o virtualizado producen un ruido mayor que el efecto medido.

¿Qué son las pruebas de referencia?

Antes de aprender las pruebas comparativas, comprendamos:

Punto de referencia en pruebas de rendimiento

A Punto de referencia en pruebas de rendimiento Es una métrica o un punto de referencia con el que se pueden comparar productos o servicios de software para evaluar las medidas de calidad. En otras palabras, Benchmark significa un estándar establecido que ayuda a determinar la calidad de un producto o servicio de software. Podemos comparar un producto o servicio de software para evaluar su calidad.

Por ejemplo, un equipo de fútbol tiene un punto de referencia para que un jugador califique como jugador de primera división. El conjunto de habilidades para el benchmark podría ser un número de goles marcados en las últimas cinco temporadas, o posesión de balón durante el primer tiempo, o un número mínimo de partidos disputados en el torneo local, etc.

¿Qué son las pruebas de referencia?

Pruebas de referencia Mide un conjunto repetible de resultados cuantificables que sirve como punto de referencia con el que se pueden comparar productos/servicios. El propósito de los resultados de las pruebas comparativas es comparar las versiones de software presentes y futuras con sus respectivas pruebas comparativas.

Un punto de referencia debe ser repetible. Por ejemplo, con cada iteración de la prueba de carga, si los tiempos de respuesta varían demasiado, se debe comparar el rendimiento del sistema. El tiempo de respuesta debe ser estable entre diferentes condiciones de carga.

Un punto de referencia debe ser cuantificables. Por ejemplo, la experiencia del usuario no se puede cuantificar en números, pero se puede cuantificar el tiempo que un usuario pasa en una página web debido a una buena interfaz de usuario.

Las pruebas comparativas no son un término relacionado solo con las pruebas de software, sino que también se refieren a las pruebas de hardware. y es considerada una de las tareas más importantes en el mundo empresarial.

En este tutorial, analizaremos los puntos de referencia para una aplicación cliente-servidor o, en otras palabras, una aplicación web. Las pruebas de referencia se pueden realizar para los siguientes servicios:

  • Compatibilidad del navegador
  • Vínculos rotos
  • Cumplimiento de HTML
  • Tiempo de carga
  • Accesibilidad
  • Enlace de popularidad

Por qué las pruebas de referencia son importantes

A nivel empresarial, las pruebas comparativas pueden ser útiles para determinar

  • Qué tan bien se está desempeñando una aplicación basada en web con respecto a la competencia
  • Cómo experimentan los diferentes tipos de clientes el tiempo de respuesta y la disponibilidad de un sitio
  • Garantiza que los sitios web cumplan con los estándares y las mejores prácticas.
  • Permite evaluar a los proveedores de servicios de terceros antes de realizar una contratación.tracdecisión de ting
  • Permite descubrir los errores a evitar.

Crear un plan de prueba de referencia

Un plan de pruebas es el elemento más crucial del proceso de pruebas comparativas. El plan de prueba comparativa sigue los pasos que se detallan a continuación:

  1. Escalar e invocar carga de trabajo
  2. Recopilar y almacenar medidas para pruebas comparativas
  3. Definir el lapso de tiempo requerido y el punto final de un proceso de prueba.
  4. Prepare un plan de respaldo para superar cualquier falla en un nuevo caso de prueba.
  5. Decidir la autoridad para ordenar la terminación del proceso final

Cómo hacer pruebas comparativas

Hay 4 fases involucradas en las pruebas comparativas:

Pruebas de referencia

Paso 1) Fase de planificación

  • Identificar y priorizar estándares y requisitos
  • Decidir los criterios de referencia
  • Definir el proceso de prueba de referencia

Paso 2) Fase de Análisis

  • Identificar la causa raíz del error para mejorar la calidad.
  • Establecer objetivos para el proceso de prueba.

Paso 3) Fase de integración

  • Comparta los resultados con la persona interesada y obtenga su aprobación.
  • Establecer objetivos funcionales

Paso 4) Fase de acción

  • Desarrollar un plan de prueba y documentación.
  • Implementar acciones especificadas en fases anteriores y monitorear el progreso.
  • Ejecute el proceso continuamente.

Componentes de las pruebas comparativas

Los diferentes sistemas tienen distintos grados de complejidad y requieren diferentes técnicas para probar aplicaciones.

Hay 3 componentes principales de las pruebas comparativas. Ellos son

  1. Especificaciones de carga de trabajo: Determinar el tipo y frecuencia de las solicitudes a enviar al sistema bajo prueba.
  2. Especificaciones de métricas: Determine qué elemento se medirá, por ejemplo; Velocidad de Descarga
  3. Especificación de medición: Determinar cómo medir los elementos especificados para encontrar los valores apropiados.

Aspectos a tener en cuenta durante las pruebas de rendimiento

Para ejecutar pruebas comparativas con éxito, se deben tener en cuenta los siguientes hechos.

  • Consistencia y control son medidas importantes para realizar pruebas de referencia.
  • Comprender la arquitectura del sistema para diseñar criterios de prueba y datos de prueba.
  • Examinar los datos estáticos iniciales y actualizarlos según la cantidad de usuarios.
  • Verifique la funcionalidad "Restablecer" cuando sea necesario y defina la tasa de transacción por segundo (esto trata específicamente de las transacciones de los usuarios en una base de datos)
  • Dividir los elementos del sistema según sus funcionalidades.
  • Cada sistema tiene una arquitectura y un diseño diferentes, lo cual debe tenerse en cuenta al realizar pruebas comparativas.
  • Asegúrese de que todos los componentes del software estén en condiciones de funcionar.
  • El sistema operativo y los controladores compatibles deberían funcionar correctamente
  • Elimine los archivos temporales y de captación previa del sistema antes de ejecutar una prueba comparativa
  • Cierre todos los procesos y aplicaciones que se ejecutan en segundo plano.
  • Compruebe si hay actualizaciones de sistemas operativos y configuraciones del mundo real

Marcos de pruebas comparativas

Los marcos de pruebas comparativas ayudan a realizar algunas tareas fundamentales para las comprobaciones de rendimiento. Estas tareas fundamentales incluyen-

  1. Acceso a la base de datos
  2. Composición del lado del servidor
  3. Serialización JSON
  4. Configuration

Marco de referencia 2.0 & TecnologíaEmpoderar Se utilizan principalmente marcos de pruebas comparativas.

Echemos un vistazo a TechEmpower. Echaremos un vistazo rápido a sus características más destacadas.

  • Es un marco de código abierto para realizar tareas de referencia.
  • Necesita la configuración correcta del entorno de evaluación comparativa.
  • Hay principalmente dos modos, como Modo de referencia para comparar resultados y Modo de verificación para los que no son expertos
  • Se requieren varios archivos que son únicos y pueden variar de un sistema a otro.
  • Incluye un "Archivo de configuración de referencia" que define un conjunto de instrucciones de prueba y metadatos para un programa de referencia.
  • Se basa en varios lenguajes como Java, Python, Rubí, PHP, JavaScript, Perl, C, Groovy, Haskell, Scala, etc.
  • Objeto: Relational Mapper (ORM) se utiliza para realizar pruebas en bases de datos, serialización JSON, etc.

Herramientas de prueba comparativa

Las herramientas de pruebas comparativas se clasifican en consecuencia. Nos alistaremos uno por uno.

Herramientas para pruebas Windows PC:

  1. Prime95
  2. Novabench
  3. 3DMark
  4. Clasificador Sandra

Herramientas para probar el rendimiento de la CPU:

  1. Cinebencha
  2. Geekbench

Herramientas para probar la velocidad del sistema y las baterías de dispositivos móviles:

  1. Phoronix (Linux)
  2. CPU UserBenchmark (Prueba de referencia de CPU)
  3. Vellamo (rendimiento de navegación web)

Las pruebas de referencia también se pueden realizar con Android teléfonos y tabletas. Entre todos, Aprobado es una herramienta de pruebas comparativas conocida y ampliamente utilizada.

Cómo encaja esta prueba en la familia de pruebas de rendimiento

Las pruebas de rendimiento son un término general. Las variantes que se describen a continuación solo difieren en la forma de la carga aplicada y la duración de la misma, razón por la cual suelen confundirse entre sí.

Tipo de prueba Patrón de carga Pregunta que responde
Prueba de carga Carga máxima prevista, corta duración ¿El sistema cumple sus objetivos en condiciones normales de tráfico máximo?
Prueba de esfuerzo Aumentado más allá de la capacidad hasta el fallo ¿Dónde falla y lo hace de forma elegante?
prueba de picos Aumento repentino y extremo, seguido de una remisión. ¿Sobrevive y se recupera de un impacto de tráfico?
Pruebas de resistencia La carga normal se mantuvo durante muchas horas. ¿El rendimiento se degrada con el tiempo?
Prueba de remojo Carga sostenida durante un período prolongado ¿Hay fugas de memoria o agotamiento de recursos?
Prueba de estabilidad Carga variable en función de las condiciones ¿El sistema sigue siendo fiable a medida que cambian las condiciones?
Pruebas de volumen Usuarios normales, volumen de datos muy grande ¿Puede soportar el crecimiento de la base de datos?

Las pruebas de resistencia y las pruebas de inmersión se suelen tratar como sinónimos. En el uso común, se utilizan para evaluar si ambas pruebas soportan una carga sostenida durante un período prolongado. Cuando los equipos las distinguen, las pruebas de resistencia se centran en si los tiempos de respuesta aumentan, mientras que las pruebas de estrés se centran en el consumo de recursos como la memoria, los descriptores de archivo y los grupos de conexiones. Generalmente, ejecutar una de estas pruebas proporciona evidencia para ambas.

Pruebas de referencia: Conclusiones clave

  • En Ingeniería de Software, las pruebas comparativas brindan un conjunto repetible de resultados cuantificables sobre el desempeño de un sistema.
  • Útil para ejercitar las condiciones de carga y determinar el comportamiento del sistema frente a ataques DDoS.
  • Las especificaciones de carga de trabajo, métricas y especificaciones de medición son componentes importantes de las pruebas comparativas.
  • Se utilizan varias herramientas y marcos para realizar pruebas comparativas de forma rápida y eficiente.
  • Las pruebas comparativas también son útiles para dispositivos móviles.

Preguntas Frecuentes

Las pruebas de rendimiento miden cómo se comporta un sistema bajo carga. Las pruebas de referencia registran esa medición como un estándar fijo, de modo que las versiones posteriores se pueden comparar con ella en condiciones idénticas.

Porque cualquier cambio en el hardware, el volumen de datos o la configuración altera el resultado. Una prueba de rendimiento comparada con un entorno diferente mide el entorno, no el software.

Siempre que el entorno, el volumen de datos o la arquitectura cambien sustancialmente. De lo contrario, mantenga la misma configuración base, ya que su valor reside en su estabilidad entre versiones.

Las herramientas de IA detectan regresiones estadísticamente significativas entre ejecuciones y las separan de la varianza normal, lo que elimina la incertidumbre a la hora de decidir si una pequeña ralentización es importante.

Sí. Los modelos derivan los umbrales de las distribuciones históricas de ejecución en lugar de porcentajes fijos, adaptándose a medida que crece la aplicación. RevRevise los límites derivados antes de aplicarlos en una tubería.

Resumir este post con: