¿Cómo seleccionar las mejores herramientas de pruebas de automatización?

En el artículo Mejora del proceso de prueba, aprendiste los puntos de mejora del proyecto Guru99 Bank. Está utilizando automatizado. Pruebas en lugar de Prueba Manualmente. Pero los miembros del equipo pueden preguntarle:

Mejores herramientas de pruebas de automatización

La respuesta a esta pregunta es un desafío porque hay muchos factores a considerar

  • Quiere respaldar sus actividades de prueba mediante una herramienta de software, pero no conoce las herramientas disponibles actualmente en el mercado.
  • ¿Qué tipo de herramienta se adaptará mejor a los requisitos y al presupuesto del proyecto?
  • ¿Quién en el equipo tiene las habilidades para usar la herramienta una vez que la hayas comprado?

La importancia de la selección de herramientas de prueba de software

El éxito de cualquier automatización de pruebas depende de la identificación de la herramienta adecuada para la automatización. Seleccionar la herramienta de pruebas “correcta” para su proyecto es una de las mejores formas de lograr el objetivo del proyecto. El siguiente ejemplo le mostrará el beneficio de la selección de la herramienta de pruebas

En el proyecto Guru99 Bank, para ahorrar el esfuerzo de las pruebas, el equipo del proyecto decidió utilizar una herramienta de prueba automatizada para la ejecución de la prueba. Después de muchas reuniones, su equipo seleccionó una herramienta adecuada para el proyecto.

Un mes después, recibió el informe del equipo del proyecto sobre esta herramienta.

La importancia de la selección de herramientas de prueba de software

Los resultados son excelentes. La nueva herramienta automatizada duplicó la productividad de las pruebas. Significa que ahorramos 50% Costo de ejecución de la prueba. Si está interesado en explorar más opciones para sus proyectos, consulte esta lista de herramientas de prueba automatizadas.

Este es un ejemplo del beneficio de utilizar la herramienta de prueba en el proyecto. Seleccionar la herramienta de prueba adecuada lo ayudará a mejorar la productividad del proyecto y ahorrar costos.

Tipo de herramientas de prueba

Hay muchos tipos de herramientas de prueba que Test Manager puede considerar al seleccionar las herramientas de prueba.

Tipo de herramientas de prueba

Herramientas de código abierto

Las herramientas de código abierto son el programa en el que se encuentra el código fuente. abiertamente publicado para su uso y/o modificación de su diseño original, gratis.

Hay herramientas de código abierto disponibles para casi cualquier fase del proceso de prueba, desde Caso de prueba gestión a Defecto seguimiento. En comparación con las herramientas comerciales, las herramientas de código abierto pueden tener menos funciones.

Herramientas comerciales

Las herramientas comerciales son el software que se produce para la venta o con fines comerciales.

Las herramientas comerciales tienen más soporte y más funciones de un proveedor que las herramientas de código abierto.

Herramientas personalizadas

En algunos proyectos de pruebas, el entorno de pruebas y el proceso de pruebas tienen características especiales. Ninguna herramienta comercial o de código abierto puede cumplir con el requisito. Por lo tanto, el director de pruebas debe considerar el desarrollo de la herramienta personalizada.

Ejemplo: desea encontrar una herramienta de prueba para el proyecto Guru99 Bank. Quiere que esta herramienta cumpla con algún requisito específico del proyecto.

Herramientas personalizadas

Análisis de viabilidad de la automatización

Volviendo al ejemplo anterior, el equipo del proyecto decidió desarrollar una herramienta personalizada que pueda cumplir con los requisitos del proyecto. Supongamos que les han dado 100 casos de prueba para automatizar y estimaron 5 días para desarrollar una herramienta que pueda automatizar. all de esos casos de prueba.

Aquí está el resultado de su trabajo.

Análisis de viabilidad de la automatización

Como en el escenario anterior, el problema es que la herramienta de prueba no puede automatizar todos los casos de prueba de la especificación de prueba. Esto significa que no todo Las características de la aplicación pueden ser a fondo probado utilizando la herramienta de prueba.

Si la funcionalidad de la aplicación bajo prueba cambia con frecuencia o es demasiado Complicado, es difícil crear automatización de pruebas para all las características de la aplicación, porque cada herramienta tiene su propia limitaciones.

Si no desea encontrarse en tal situación, antes de seleccionar la herramienta de prueba, debe analizar los casos de prueba y decidir qué casos de prueba deben automatizarse y cuáles no. Este es el Análisis de viabilidad de la automatización actividad.

El análisis de viabilidad de la automatización es un factor muy importante en las pruebas. En este análisis, debe verificar si la aplicación bajo prueba es calificado para pruebas automatizadas.

Algunos factores que debes considerar:

Análisis de viabilidad de la automatización

Para saber más sobre estos factores, puede utilizar un lista de comprobación que se incluye en este artículo

Cómo seleccionar las mejores herramientas de pruebas de automatización

Para seleccionar la herramienta de prueba más adecuada para el proyecto, el director de pruebas debe seguir el siguiente proceso de selección de herramientas.

Seleccione la herramienta de pruebas de automatización Mejores

Paso 1) Identificar los requisitos de herramientas

¿Cómo puedes seleccionar una herramienta de prueba si no sabes lo que estás buscando?

Identificar los requisitos de herramientas

Usted puede identificar con precisión los requisitos de su herramienta de prueba. Todos los requisitos deben ser documentado y revisado por los equipos de proyecto y el consejo de administración.

Considere el siguiente ejemplo:

Quiere encontrar la herramienta de prueba para el proyecto del Banco Guru99. ¿Qué esperas de la herramienta?

A) La herramienta puede generar los casos de prueba automáticamente.

B) La herramienta puede generar el resultado de la prueba en el formato deseado.

C) El evaluador puede seleccionar qué casos de prueba ejecutar con un conjunto dado de datos de prueba

D) La herramienta puede ejecutar el caso de prueba automáticamente.

E) La herramienta puede juzgar y realizar la validación de la salida de la prueba y marcar los casos de prueba como aprobados o no.

F) Todos los elementos anteriores

Incorrecto
Correcto

Paso 2) Evaluar las herramientas y los proveedores

Después de establecer una línea de base de los requisitos de la herramienta, el director de pruebas debe

  • Analizar las herramientas comerciales y de código abierto que se encuentran disponibles en el mercado, en función del requerimiento del proyecto.
  • Créar un lista corta de herramientas cuál se adapta mejor a sus criterios
  • Un factor que debes considerar es vendedores. Debe considerar la reputación del proveedor, el soporte posventa, la frecuencia de actualización de las herramientas, etc. al tomar su decisión.
  • Evaluar la calidad de la herramienta tomando las uso de prueba y lanzamiento de un piloto. Muchos proveedores suelen ofrecer versiones de prueba de su software para descargar.

Paso 3) Estimar el costo y el beneficio

Para garantizar que la herramienta de prueba sea beneficiosa para el negocio, el director de pruebas debe equilibrar los siguientes factores:

Estimar el costo y el beneficio

A análisis coste-beneficio debe realizarse antes de adquirir o construir una herramienta

Ejemplo: después de dedicar un tiempo considerable a investigar las herramientas de prueba, el equipo del proyecto encontró la herramienta de prueba perfecta para el sitio web del proyecto Guru99 Bank. Los resultados de la evaluación concluyeron que esta herramienta podría

  • Double la productividad actual de la ejecución de pruebas
  • La disminución el esfuerzo de gestión en un 30%

Sin embargo, después de hablar con el proveedor de software, descubrió que el cost de esta herramienta es demasiado alto en comparación con el propuesta de y es el beneficio que puede aportar al trabajo en equipo.

En tal caso, el equilibrar entre costo y beneficio de la herramienta puede afectar la decisión final.

Paso 4) Toma la decisión final

Toma la decisión final

Para tomar la decisión final, el Responsable de Pruebas deberá tener:

  • Tener un fuerte conciencia de la herramienta. Significa que debes entender cuál es el fuertes puntos y el débil puntos de la herramienta
  • Balance costo y beneficio.

Incluso después de pasar horas leyendo el manual del software y la información del proveedor, es posible que aún necesite probar la herramienta en su entorno de trabajo real antes de comprar la licencia.

Debe reunirse con el equipo del proyecto y los consultores para obtener un conocimiento más profundo de la herramienta.

Su decisión puede afectar negativamente al proyecto, el proceso de prueba y los objetivos comerciales; Deberías dedicar un buen rato a pensarlo bien.

Cosas a considerar al elegir una herramienta de gestión de pruebas

Con la amplia gama de opciones disponibles, es fácil confundirse al comprar una herramienta de gestión de pruebas. Esta es una guía imparcial para ayudarle a obtener la mejor herramienta según tus necesidades.

En esta guía, le proporcionaré los cinco parámetros más importantes, pero que a menudo se ignoran, al seleccionar su herramienta de gestión de pruebas. Pero antes de comenzar, déjame repetirlo.

No compares manzanas y naranjas

No tiene sentido comparar una herramienta SaaS de $30 por mes con una herramienta comercial completa de $6000 cuando su presupuesto no lo permite. Es importante que filtres tu herramienta con una lista basada en PRESUPUESTO primero. Si tienes un presupuesto, De código abierto es una buena opción. Aunque las herramientas comerciales son caras, ofrecen un gran soporte y son fáciles de usar y cuentan con una gran cantidad de material de capacitación.

Lo siguiente que debes calcular es el coste de tu licencia. Para eso, necesita estimar la duración de la finalización de la prueba y qué método opta por realizar la prueba; esto le ayudará a determinar qué modelo se ajustaría a su presupuesto, por ejemplo, si desea pagar como por usuario registrado, usuario concurrente o usuario persistente. Por lo general, los costos persistentes o únicos son más altos debido a su gasto de capital. Para determinado software, necesita una licencia de tiempo de ejecución. No todos los proveedores admiten licencias de tiempo de ejecución, por lo que también debe considerar el gasto de la licencia de tiempo de ejecución si está pensando en instalarla en diferentes máquinas.

Una vez que haya destilado sus opciones según el presupuesto, aquí hay 5 parámetros muy importantes para comparar sus herramientas de gestión de pruebas:

Consejo n.º 1: la herramienta de gestión de pruebas debería mejorar la productividad

La herramienta de gestión de pruebas debería mejorar la productividad

Los equipos de pruebas enfrentan grandes desafíos para mantenerse al día con los rápidos cambios tecnológicos y la necesidad de realizar pruebas en múltiples plataformas (tanto navegadores como dispositivos). Dado que las pruebas manuales ocupan la mayor parte del tiempo de prueba, una forma de afrontar este desafío es intensificar la automatización. Pero hay otras áreas para mejorar la eficiencia de una herramienta que incluyen una gestión eficaz de datos/laboratorio de pruebas, gestión de versiones e informes detallados, entre otras. ChoIt utilizar la herramienta de gestión de pruebas correcta puede ser de gran ayuda para mejorar estos parámetros.

Veamos lo que se requiere de una herramienta de gestión de pruebas desde el punto de vista de la productividad.

Granularidad de la información de la prueba

La herramienta de gestión de pruebas debe incluir informes de información detallados relacionados con el proceso de prueba. Por ejemplo, en caso de fallo de un caso de prueba, siempre es útil saber en qué paso falló la prueba en lugar de saber que el caso de prueba falló en su totalidad. Independientemente de los cambios menores que se apliquen durante la prueba, la herramienta de gestión de pruebas debe informar sobre los cambios a los miembros del equipo correspondientes. Para facilitar el seguimiento y la acción rápida, también debe mantener un registro de auditoría de los cambios, incluida la versión completa de los casos de prueba. Además, la herramienta de gestión de pruebas debe guardar los resultados de la prueba como una sesión y debe tener la capacidad de comparar los resultados de la ejecución de la prueba. Las otras características que se esperan de una herramienta de gestión de pruebas estándar son documentar la estrategia de prueba, planificar la ejecución de la prueba, crear defectos, vincular historias, etc. Una función de carga de videos y soporte API serían la guinda del pastel.

Seguimiento de gestión de versiones (DevOps)

Los lanzamientos de software son complejos y tienen lugar múltiples actividades (como el seguimiento de la versión de compilación, la coordinación del equipo y la transparencia de los lanzamientos) que ocurren al mismo tiempo. Una buena herramienta de gestión de pruebas debe tener una sólida capacidad de seguimiento de la gestión de lanzamientos que mantenga un registro de la lista de software que se está probando y lanzando, de modo que no entre en conflicto con otros artefactos de prueba. Además, debe ser capaz de gestionar todos los artefactos del proyecto en un solo entorno.

La herramienta de gestión de pruebas debe proporcionar una vista única de los requisitos para todas las partes interesadas. La colaboración con las partes interesadas garantiza que se capturen los requisitos correctos. La herramienta debería poder rastrear los vínculos entre otros activos y requisitos de desarrollo.

Para los equipos distribuidos, debe proporcionar un único repositorio compartido para colaborar y compartir requisitos, evaluar defectos vinculados y comprender su relación con las pruebas.

Para lograr calidad y coherencia, su herramienta de gestión de pruebas debe imponer la estandarización.

Informes

Informes

Es un caos si su equipo de pruebas sabe cuántos defectos están abiertos en la versión pero no sabe cuánto tiempo llevará resolverlos. Para monitorear las actividades de prueba, los ingenieros de prueba dependen en gran medida de los informes generados por la herramienta de gestión de pruebas. Una herramienta de gestión de pruebas confiable debe proporcionar la siguiente información en sus informes: progreso del plan de prueba, estado de creación del caso de prueba, caso de prueba fallido y aprobado, estado de la prueba por suites, estado de la prueba por área, caso de prueba a automatizar, etc.

Su herramienta de gestión de pruebas debe permitir una visibilidad completa de la actividad del desarrollador y los procesos del ciclo de vida, desde la gestión de requisitos hasta las pruebas y la reparación de defectos.

Una buena herramienta de gestión de pruebas debe incluir los siguientes atributos

  • El gráfico y el panel deben brindar información sobre cuántas de sus pruebas automatizadas se han ejecutado o están en espera de ejecución.
  • Debe resaltar los atributos de prueba comunes, como la cantidad de casos de prueba aprobados/fallidos/omitidos, carga de trabajo del usuario, etc.
  • Tomar decisiones sobre la preparación de cada lanzamiento.
  • Vea sus pruebas automatizadas junto con los resultados de las pruebas manuales

Consejo n.º 2 Soporte ágil

La demanda de metodologías ágiles en el mercado actual está aumentando y se hace cada día mayor. Es importante que su herramienta de gestión de pruebas admita la metodología ágil. En Agile, los requisitos son mutables y se completan de forma incremental, por lo que su herramienta de gestión de pruebas debe poder adaptarse a dichos requisitos. La herramienta de gestión de pruebas ágil que elija debe promover una colaboración profunda entre desarrolladores, evaluadores y otras partes interesadas (principio básico de Agile).

La herramienta de gestión de pruebas ágil debería ser compatible

  • Creando historias
  • Estimacion
  • Sprint planificación del trabajo pendiente
  • Gráficos de velocidad y otros informes, etc.
  • Scrum y Kanban

En un entorno ágil, la comparación de ejecuciones de pruebas mediante una herramienta de gestión de pruebas sería productiva si se observan cambios en las tasas de defectos por iteración. Además, para Agile, la herramienta de gestión de pruebas deberá mantener el registro del lanzamiento del producto para cada iteración y trabajo pendiente.

Consejo #3 Integración externa

La ejecución automatizada de casos de prueba puede reducir gran parte de la carga de los ingenieros de pruebas. Debe seleccionar una herramienta de gestión de pruebas que se integre fácilmente con herramientas de automatización. Busque la capacidad de administrar scripts de prueba, así como programar e iniciar pruebas tanto localmente como en el host remoto. Además, es deseable la capacidad de almacenar los resultados de las pruebas de automatización en la herramienta de gestión de pruebas. Su herramienta de gestión de pruebas debe ser compatible integración continua. La principal ventaja de la herramienta de gestión de pruebas con CI es que las pruebas se inician automáticamente. El lanzamiento puede desencadenarse por cualquier cosa, como una confirmación del código fuente por parte de un desarrollador o un caso de prueba con automatización de prueba subyacente o una tarea programada para un tiempo específico. La Integración continua difiere en tiempo, detalle, dirección y granularidad.

Para cualquier equipo de control de calidad, la integración de herramienta de seguimiento de errores hace que su proceso de prueba sea muy fácil. Una herramienta de gestión de pruebas estándar que se integra perfectamente con la aplicación SDLC u otras herramientas de seguimiento de errores como JIRA, BugZilla y Mantis agrega más valor a la herramienta. Debería permitir a los usuarios vincular errores, probar instancias de ejecución de casos, para la gestión centralizada de su proceso de prueba de software. También debería permitir que todo el equipo del proyecto trabaje en conjunto en un solo tema al mismo tiempo.

La integración de su sistema de mesa de soporte Es una característica importante que debe ofrecer cualquier herramienta de gestión de pruebas. Un software de soporte técnico, también conocido como sistema de tickets, ayuda a los usuarios a obtener una solución instantánea a su problema. Ayuda a los clientes a obtener una descripción general de todos los problemas abiertos y cerrados.

API Es deseable la compatibilidad con integraciones personalizadas.

Consejo #4 Móvil

Móvil

Su herramienta de gestión de pruebas debe ser compatible con dispositivos móviles y tabletas.

El soporte móvil es extremadamente útil para los equipos que están en la ubicación del cliente, no en el escritorio, o para los gerentes que trabajan con equipos en diferentes ubicaciones geográficas.

La herramienta de gestión de pruebas debe tener un conjunto de funciones completo (no reducido) disponible en dispositivos móviles.

La compatibilidad con varios dispositivos y sistemas operativos móviles es importante, ya que con el aumento de la cantidad de dispositivos surgen más complejidades, como problemas de ubicación, gestos, acelerómetros y orientación. Después de todo, ¡nunca compre un teléfono pensando que es compatible con su herramienta de gestión de pruebas!

Consejo #5 Soporte

Soporte

El equipo de soporte del proveedor de la herramienta de gestión de pruebas debe comprometerse a ayudar a sus clientes de todas las formas posibles. Muchas herramientas de gestión de pruebas se centran más en la creación de sitios web y anuncios brillantes para atraer a más clientes. Pero para negocios continuos y repetidos, deben centrarse en brindar el mejor servicio de asistencia técnica.

La mejor herramienta de gestión de pruebas debe tener características como chat en vivo, llamada telefónica, preguntas frecuentes y guías de usuario en línea, información de documentación del producto, base de conocimientos, generación de tickets de la mesa de ayuda, etc. para ayudar a sus clientes.

Muchas herramientas de gestión de pruebas también facilitan videoconferencia en vivo con expertos en herramientas para resolver las consultas de los clientes. Si la conferencia en vivo no es factible, entonces las demostraciones o videos grabados relacionados con la herramienta de gestión de pruebas deben estar siempre disponibles en el sitio y se puede acceder a ellos en cualquier momento. Mientras que para los desarrolladores, si la herramienta proporciona API o soporte de integración personalizada, se debe proporcionar un script de demostración y documentación detallada.

Aunque es posible que no todos los canales de soporte anteriores estén disponibles para todas las herramientas, debe seleccionar una herramienta que le brinde su “preferido”canal de soporte.

Un parámetro más importante y a menudo olvidado es si el proveedor de la herramienta es Enfocados al cliente? Aquí hay algunas cosas a considerar al seleccionar su herramienta de gestión de pruebas:

  • La interfaz de la herramienta debe ser fácil de usar e incluir una función de integración del cliente.
  • Debe admitir múltiples idiomas y múltiples zonas horarias.
  • Debería tener una capacidad de búsqueda avanzada.

Espero que esta guía le ayude a seleccionar la herramienta que mejor se adapte a sus necesidades de prueba. Para una gestión más completa del ciclo de vida de su aplicación, es posible que desee explorar estos herramientas ALM.