Comment sélectionner le meilleur outil de test d’automatisation ?

Dans l'article Amélioration du processus de test, vous avez appris les points d'amélioration du projet Guru99 Bank. Il utilise automatisé Contrôle de qualité au lieu de Test manuel. Mais les membres de l'équipe peuvent vous demander :

La réponse à cette question est difficile car de nombreux facteurs doivent être pris en compte

• Vous souhaitez soutenir vos activités de tests au moyen d'un outil logiciel, mais vous ne connaissez pas les outils actuellement disponibles sur le marché
• Quel type d’outil répondra le mieux aux exigences et au budget du projet ?
• Qui dans l'équipe possède les compétences nécessaires pour utiliser l'outil une fois que vous l'avez acheté

L'importance de la sélection de l'outil de test logiciel

Le succès de toute automatisation de test dépend de l’identification du bon outil d’automatisation. Sélectionner l'outil de test « correct » pour votre projet est l'un des meilleurs moyens d'atteindre l'objectif du projet. L'exemple suivant vous montrera les avantages de la sélection de l'outil de test

Dans le projet Guru99 Bank, pour économiser les efforts de test, l'équipe du projet a décidé d'utiliser un outil de test automatisé pour l'exécution des tests. Après de nombreuses réunions, votre équipe a sélectionné un outil adapté au projet.

Un mois plus tard, vous avez reçu le rapport de l'équipe projet sur cet outil

Les résultats sont excellents. Le nouvel outil automatisé a doublé la productivité des tests. Cela signifie que nous avons sauvé 50% coût d’exécution des tests. Si vous souhaitez explorer plus d'options pour vos projets, consultez cette liste de outils de test automatisés.

Ceci est un exemple de l'avantage de l'utilisation de l'outil de test dans le projet. La sélection du bon outil de test vous aide à améliorer la productivité du projet et à réduire les coûts du projet.

Type d'outils de test

Il existe de nombreux types d'outils de test que Test Manager peut prendre en compte lors de la sélection des outils de test.

Outils Open Source

Les outils open source sont les programmes dans lesquels le code source est ouvertement publié pour utilisation et/ou modification par rapport à sa conception originale, gratuitement.

Des outils open source sont disponibles pour presque toutes les phases du processus de test, de Cas de test gestion à Défaut suivi. Par rapport aux outils commerciaux, les outils open source peuvent avoir moins de fonctionnalités.

Outils commerciaux

Les outils commerciaux sont les logiciels produits pour la vente ou à des fins commerciales.

Les outils commerciaux bénéficient de plus de support et de plus de fonctionnalités d'un fournisseur que les outils open source.

Outils personnalisés

Dans certains projets de test, l'environnement de test et le processus de test présentent des caractéristiques particulières. Aucun outil open source ou commercial ne peut répondre à cette exigence. Par conséquent, le Test Manager doit envisager le développement de l’outil personnalisé.

Exemple : Vous souhaitez trouver un outil de test pour le projet Guru99 Bank. Vous souhaitez que cet outil réponde à certaines exigences spécifiques du projet.

Analyse de faisabilité de l'automatisation

Revenant à l'exemple ci-dessus, l'équipe du projet a décidé de développer un outil personnalisé pouvant répondre aux exigences du projet. Supposons qu'ils aient reçu 100 cas de test à automatiser et qu'ils aient estimé 5 jours pour développer un outil capable d'automatiser tous de ces cas de test.

Voici le résultat de leur travail

Comme dans le scénario ci-dessus, le problème est que l'outil de test ne peut pas automatiser tous les cas de test de la spécification de test. Cela signifie que pas tout les fonctionnalités de l'application peuvent être complètement testé à l’aide de l’outil de test.

Si la fonctionnalité de l'application testée change fréquemment ou c'est aussi compliqué, il est difficile de créer une automatisation des tests pour tous les fonctionnalités de l'application, car chaque outil a le sien limites.

Si vous ne voulez pas vous retrouver dans une telle situation, avant de sélectionner l'outil de test, vous devez analyser les cas de test et décider quels cas de test doivent être automatisés et quels cas de test ne doivent pas être automatisés. C'est le Analyse de faisabilité de l'automatisation activité.

L'analyse de faisabilité de l'automatisation est le contributeur très important aux tests. Dans cette analyse, vous devez vérifier si l'application testée est qualifié pour un test automatisé.

Certains facteurs à prendre en compte :

Pour en savoir plus sur ces facteurs, vous pouvez utiliser un checklist qui est inclus dans cet article

Comment choisir le meilleur outil de test d'automatisation

Pour sélectionner l'outil de test le plus approprié pour le projet, le responsable de test doit suivre le processus de sélection des outils ci-dessous.

Étape 1) Identifiez les besoins en outils

Comment sélectionner un outil de test si vous ne savez pas ce que vous recherchez ?

Vous devez identifier précisément vos besoins en outils de test. Toutes les exigences doivent être documenté et examiné par les équipes projet et le comité de direction.

Prenons l'exemple suivant:

Étape 2) Évaluer les outils et les fournisseurs

Après avoir défini les exigences de l'outil, le gestionnaire de test doit

• Analyser les outils commerciaux et open source disponibles sur le marché, en fonction des exigences du projet.
• Créer un liste restreinte d'outils qui répond le mieux à vos critères
• Un facteur que vous devriez considérer est fournisseurs. Vous devez tenir compte de la réputation du fournisseur, du support après-vente, de la fréquence de mise à jour des outils, etc. avant de prendre votre décision.
• Évaluez la qualité de l'outil en prenant les utilisation d'essai et lancement d'un pilote. De nombreux fournisseurs proposent souvent des versions d'essai de leurs logiciels en téléchargement.

Étape 3) Estimer les coûts et les avantages

Pour garantir que l'outil de test est bénéfique pour l'entreprise, le Test Manager doit équilibre les facteurs suivants :

A l'analyse coûts-avantages doit être effectué avant d’acquérir ou de construire un outil

Exemple : Après avoir passé beaucoup de temps à étudier les outils de test, l'équipe du projet a trouvé l'outil de test parfait pour le site Web du projet Guru99 Bank. Les résultats de l'évaluation ont conclu que cet outil pourrait

• Double la productivité actuelle de l'exécution des tests
• Réduire l'effort de gestion de 30%

Cependant, après discussion avec l'éditeur du logiciel, vous avez constaté que le sables moins coûteux de cet outil est trop élevé par rapport au Plus-value et profiter qu'il peut apporter au travail d'équipe.

Dans un tel cas, le équilibre entre le coût et le bénéfice de l'outil peut affecter la décision finale.

Étape 4) Prendre la décision finale

Pour prendre la décision finale, le Test Manager doit avoir :

• Vous Avez forte conscience de l'outil. Cela signifie que vous devez comprendre quel est le STRONG points et les faible points de l'outil
• Équilibre coût et bénéfice.

Même après des heures passées à lire le manuel du logiciel et les informations sur le fournisseur, vous devrez peut-être essayer l'outil dans votre environnement de travail réel avant d'acheter la licence.

Vous devriez avoir la réunion avec l'équipe du projet, les consultants pour approfondir la connaissance de l'outil.

Votre décision peut avoir un impact négatif sur le projet, le processus de test et les objectifs commerciaux ; vous devriez passer un bon moment pour y réfléchir sérieusement.

Éléments à prendre en compte lors du choix d'un outil de gestion de tests

Avec le large éventail de choix disponibles, il est facile de se perdre lors de l'achat d'un outil de gestion de tests. Il s'agit d'un guide impartial pour vous aider à trouver le meilleur outil selon vos besoins.

Dans ce guide, je vais vous fournir 5 paramètres les plus importants mais souvent ignorés lors de la sélection de votre outil de gestion de tests. Mais avant de commencer, permettez-moi de répéter-

Ne comparez pas Apple et Oranges

Cela n'a pas de sens de comparer un outil SaaS à 30 $ par mois avec un outil commercial à 6000  $ lorsque votre budget ne le permet pas. Il est important de filtrer votre outil avec une liste basée sur BUDGET d'abord. Si vous avez un budget limité, open-source est une bonne option. Bien que les outils commerciaux soient coûteux, ils offrent un excellent support et sont faciles à utiliser grâce à de nombreux supports de formation fournis.

La prochaine chose que vous devez calculer est le coût de votre licence. Pour cela, vous devez estimer la durée de réalisation du test et la méthode que vous choisissez pour le test. Cela vous aidera à déterminer quel modèle conviendrait à votre budget, par exemple si vous souhaitez payer comme par utilisateur enregistré, utilisateur simultané ou utilisateur persistant. Habituellement, les coûts persistants ou ponctuels sont plus élevés en raison des dépenses en capital. Pour certains logiciels, vous avez besoin d'une licence d'exécution. Tous les fournisseurs ne prennent pas en charge les licences d'exécution, vous devez donc également prendre en compte les dépenses liées aux licences d'exécution si vous envisagez d'installer sur différentes machines.

Une fois que vous avez distillé vos choix en fonction du budget, voici 5 paramètres très importants pour comparer vos outils de gestion de tests :

Astuce n°1 : l’outil de gestion des tests devrait améliorer la productivité

Les équipes de tests sont confrontées à des défis de taille pour suivre les changements technologiques rapides et la nécessité de tester sur plusieurs plates-formes (navigateurs et appareils). Étant donné que les tests manuels occupent la majeure partie du temps de test, une façon de relever ce défi consiste à intensifier l’automatisation. Mais il existe d'autres domaines pour améliorer l'efficacité d'un outil, notamment la gestion efficace des laboratoires de tests/des données, la gestion des versions et des rapports perspicaces, entre autres. Choisir le bon outil de gestion des tests peut grandement aider à améliorer ces paramètres.

Examinons ce qui est requis d'un outil de gestion de tests du point de vue de la productivité.

Granularité des informations de test

L'outil de gestion des tests doit inclure des rapports d'informations détaillés liés au processus de test. Par exemple, en cas d'échec d'un scénario de test, il est toujours utile de savoir à quelle étape le test a échoué au lieu de savoir que le scénario de test a échoué dans son ensemble. Quels que soient les changements mineurs appliqués pendant les tests, l'outil de gestion des tests doit informer les membres de l'équipe correspondants des changements. Pour un suivi facile et une action rapide, il doit également conserver une piste d'audit des modifications, y compris la version complète des cas de test. En outre, l'outil de gestion des tests doit enregistrer les résultats des tests sous forme de session et doit avoir la capacité de comparer les résultats des tests. Les autres fonctionnalités attendues d'un outil standard de gestion de tests sont documenter la stratégie de test, planifier l'exécution des tests, créer des défauts, relier les histoires, etc. Une fonctionnalité de téléchargement de vidéo et un support API seraient une cerise sur le gâteau.

Suivi de la gestion des versions (DevOps)

Les versions logicielles sont complexes et plusieurs activités (comme le suivi de la version de build, la coordination de l'équipe et la transparence des versions) se déroulent toutes en même temps. Un bon outil de gestion des tests doit disposer d'une solide capacité de suivi de la gestion des versions qui conserve l'enregistrement de la liste des logiciels testés et publiés, afin qu'ils n'entrent pas en conflit avec d'autres artefacts de test. En outre, il doit être capable de gérer tous les artefacts du projet dans un seul environnement.

L'outil de gestion des tests doit fournir une vue unique des exigences à toutes les parties prenantes. La collaboration avec les parties prenantes garantit que les bonnes exigences sont capturées. L'outil doit être capable de retracer les liens entre d'autres actifs et exigences de développement.

Pour les équipes distribuées, il doit fournir un référentiel partagé unique pour collaborer et partager les exigences, évaluer les défauts liés et comprendre leur relation avec les tests.

Pour des raisons de qualité et de cohérence, votre outil de gestion des tests doit appliquer la standardisation.

Reporting

C'est le chaos si votre équipe de test sait combien de défauts sont ouverts dans la version mais ne sait pas combien de temps il faudra pour les résoudre. Pour surveiller les activités de test, les ingénieurs de test dépendent fortement des rapports générés par l'outil de gestion des tests. Un outil de gestion de tests fiable doit fournir les informations suivantes dans ses rapports, telles que progression du plan de test, statut de création du scénario de test, scénario de test échoué et réussi, statut des tests par suites, statut des tests par zone, scénario de test à automatiser, et ainsi de suite

Votre outil de gestion des tests doit permettre une visibilité complète de l'activité des développeurs et des processus du cycle de vie, de la gestion des exigences aux tests et à la correction des défauts.

Un bon outil de gestion de tests doit comprendre les attributs suivants

• Le graphique et le tableau de bord doivent donner un aperçu du nombre de vos tests automatisés exécutés ou en attente d'exécution.
• Doit mettre en évidence les attributs de test courants tels que le nombre de cas de test réussis/échoués/ignorés, la charge de travail de l'utilisateur, etc.
• Prendre une décision sur l'état de préparation de chaque version
• Affichez vos exécutions de tests automatisés ainsi que les résultats des tests manuels

Conseil n°2 : Support Agile

La demande d'agilité sur le marché actuel augmente, et elle s'accroît chaque jour. Il est important que votre outil de gestion de tests prenne en charge la méthodologie agile. En Agile, les exigences sont modifiables et complétées progressivement, votre outil de gestion des tests doit être capable de répondre à ces exigences. L'outil de gestion de tests agile de votre choix doit promouvoir un partenariat approfondi entre les développeurs, les testeurs et les autres parties prenantes (principe de base de l'agile).

L'outil de gestion des tests Agile doit prendre en charge

• Créer des histoires
• estimation
• Sprint planification du carnet de commandes
• Graphiques de vitesse et autres rapports, etc.
• Scrum et Kanban

Dans un environnement Agile, la comparaison des exécutions de tests par l'outil de gestion des tests serait productive si vous examinez les changements dans les taux de défauts par itération. Également pour Agile, l'outil de gestion des tests devra conserver l'enregistrement de la version du produit pour chaque itération et backlog.

Astuce n°3 Intégration externe

L'exécution automatisée des scénarios de test peut réduire considérablement la charge des ingénieurs de test. Vous devez sélectionner un outil de gestion de tests qui s'intègre facilement à outils d'automatisation. Recherchez la possibilité de gérer des scripts de test ainsi que de planifier et de lancer des tests à la fois localement et sur l'hôte distant. En outre, la possibilité de stocker les résultats des tests d'automatisation dans l'outil de gestion des tests est souhaitable. Votre outil de gestion de tests doit prendre en charge Intégration continue. Le principal avantage de l’outil de gestion des tests avec CI est que les tests sont lancés automatiquement. Le lancement peut être déclenché par n'importe quoi, comme une validation de code source d'un développeur ou un scénario de test avec une automatisation de test sous-jacente ou une tâche planifiée pour une heure spécifique. L'intégration continue diffère en termes de temps, de détails, de direction et de granularité.

Pour toute équipe QA, intégration de outil de suivi des bogues rend leur processus de test très facile. Un outil de gestion de tests standard qui s'intègre parfaitement à l'application SDLC ou à d'autres outils de suivi des bogues tels que JIRA, BugZilla, Mantis ajoute plus de valeur à l'outil. Il doit permettre aux utilisateurs de lier des bogues, d'exécuter des cas de test, pour une gestion centralisée de votre processus de test logiciel. Cela devrait également permettre à toute l’équipe du projet de travailler ensemble sur une seule problématique en même temps.

L'intégration de votre système de support technique est une fonctionnalité importante que tout outil de gestion de tests devrait fournir. Un logiciel de support technique ou autrement connu sous le nom de système de tickets aide les utilisateurs à obtenir une solution instantanée à leur problème. Il aide les clients à avoir un aperçu de tous les problèmes ouverts et fermés.

API La prise en charge des intégrations personnalisées est souhaitable.

Conseil n°4 sur mobile

Votre outil de gestion des tests doit prendre en charge les appareils mobiles et les tablettes.

L'assistance mobile est extrêmement utile pour les équipes qui se trouvent chez le client, et non au bureau, ou pour les managers travaillant avec des équipes situées dans différents emplacements géographiques.

L'outil de gestion des tests doit disposer d'un ensemble complet (non réduit) de fonctionnalités disponibles sur mobile.

La prise en charge de plusieurs appareils et systèmes d'exploitation mobiles est importante, car avec l'augmentation du nombre d'appareils, les problèmes de localisation, de gestes, d'accéléromètres et d'orientation se multiplient. Après tout, vous n’achetez jamais un téléphone en pensant qu’il est compatible avec votre outil de gestion de tests !

Conseil n°5 : Assistance

L'équipe d'assistance du fournisseur d'outils de gestion de tests doit s'engager à aider ses clients de toutes les manières possibles. De nombreux outils de gestion de tests sont davantage axés sur la création de sites Web et de publicités brillants pour attirer plus de clients. Mais pour une activité continue et répétée, ils doivent se concentrer sur la fourniture du meilleur service d’assistance.

Le meilleur outil de gestion de tests devrait avoir des fonctionnalités telles que chat en direct, appel téléphonique, FAQ et guides d'utilisation en ligne, informations sur la documentation produit, base de connaissances, création de tickets d'assistance, etc. pour aider leurs clients.

De nombreux outils de gestion de tests facilitent également vidéoconférence en direct avec des experts en outils pour résoudre les requêtes des clients. Si la conférence en direct n'est pas réalisable, des démos ou des vidéos enregistrées liées à l'outil de gestion des tests doivent être toujours disponibles sur site et accessibles à tout moment. Tandis que pour les développeurs, si l'outil fournit une API ou une prise en charge d'intégration personnalisée, un script de démonstration et une documentation détaillée doivent être fournis.

Bien que tous les canaux d'assistance ci-dessus ne soient pas disponibles pour tous les outils, vous devez sélectionner un outil qui fournit votre "préféré" canal d'assistance.

Un autre paramètre important et souvent oublié est de savoir si le fournisseur d'outils est Axée sur le client? Voici quelques éléments à prendre en compte lors de la sélection de votre outil de gestion de tests :

• L'interface de l'outil doit être conviviale et inclure une fonctionnalité d'intégration client
• Il doit prendre en charge plusieurs langues et plusieurs fuseaux horaires
• Il devrait avoir une capacité de recherche avancée

J'espère que ce guide vous aidera à sélectionner l'outil qui correspond le mieux à vos besoins de test ! Pour une gestion plus complète du cycle de vie de votre application, vous souhaiterez peut-être explorer ces Outils ALM.