Comment sélectionner le meilleur outil de test d’automatisation ?

Dans l'article Amélioration du processus de test, vous avez tiré des enseignements du projet Guru99 Bank. Elle utilise un système automatisé. Tests au lieu de Test manuel. Mais les membres de l'équipe peuvent vous demander :

La réponse à cette question est difficile car de nombreux facteurs doivent être pris en compte

• Vous souhaitez soutenir vos activités de tests au moyen d'un outil logiciel, mais vous ne connaissez pas les outils actuellement disponibles sur le marché
• Quel type d’outil répondra le mieux aux exigences et au budget du projet ?
• Qui dans l'équipe possède les compétences nécessaires pour utiliser l'outil une fois que vous l'avez acheté

L'importance de la sélection de l'outil de test logiciel

Le succès de toute automatisation de test dépend de l’identification du bon outil d’automatisation. Sélectionner l'outil de test « correct » pour votre projet est l'un des meilleurs moyens d'atteindre l'objectif du projet. L'exemple suivant vous montrera les avantages de la sélection de l'outil de test

Dans le projet GuruPour optimiser le processus de test, l'équipe projet de 99 Bank a opté pour un outil de test automatisé. Après plusieurs réunions, elle a sélectionné l'outil le plus adapté au projet.

Un mois plus tard, vous avez reçu le rapport de l'équipe projet sur cet outil

Les résultats sont excellents. Le nouvel outil automatisé a doublé la productivité des tests. Cela signifie que nous avons sauvé 50 % coût d’exécution des tests. Si vous souhaitez explorer plus d'options pour vos projets, consultez cette liste de outils de test automatisés.

Voici un exemple des avantages liés à l'utilisation d'un outil de test dans un projet. Choisir le bon outil de test permet d'améliorer la productivité du projet et d'en réduire les coûts.

Type d'outils de test

Il existe de nombreux types d'outils de test qu'un responsable des tests peut prendre en compte lors de la sélection des outils de test.

Outils Open Source

Les outils open source sont les programmes dans lesquels le code source est ouvertement publié pour utilisation et/ou modification par rapport à sa conception originale, gratuitement.

Des outils open source sont disponibles pour presque toutes les phases du processus de test, de Cas de test gestion à Défaut tracroi. Comparés aux outils commerciaux, les outils open source peuvent avoir moins de fonctionnalités.

Outils commerciaux

Les outils commerciaux sont les logiciels produits pour la vente ou à des fins commerciales.

Les outils commerciaux bénéficient de plus de support et de plus de fonctionnalités d'un fournisseur que les outils open source.

Outils personnalisés

Dans certains projets de test, l'environnement et le processus de test présentent des caractéristiques spécifiques. Aucun outil, qu'il soit libre ou commercial, ne peut répondre à ces exigences. Par conséquent, le responsable des tests doit envisager le développement d'un outil sur mesure.

Exemple : Vous souhaitez trouver un outil de test pour le projet Guru99 Bank. Vous souhaitez que cet outil réponde à une exigence spécifique du projet.

Quelle que soit la catégorie vers laquelle vous penchez, la question suivante est de savoir si vos tests se prêtent à l'automatisation.

Analyse de faisabilité de l'automatisation

Revenant à l'exemple ci-dessus, l'équipe du projet a décidé de développer un outil personnalisé pouvant répondre aux exigences du projet. Supposons qu'ils aient reçu 100 cas de test à automatiser et qu'ils aient estimé 5 jours pour développer un outil capable d'automatiser tous de ces cas de test.

Voici le résultat de leur travail

Comme dans le scénario ci-dessus, le problème est que l'outil de test ne peut pas automatiser tous les cas de test de la spécification de test. Cela signifie que pas tout les fonctionnalités de l'application peuvent être complètement testé à l’aide de l’outil de test.

Si la fonctionnalité de l'application testée change fréquemment ou c'est aussi compliqué, il est difficile de créer une automatisation des tests pour tous les fonctionnalités de l'application, car chaque outil a le sien limites.

Si vous ne voulez pas vous retrouver dans une telle situation, avant de sélectionner l'outil de test, vous devez analyser les cas de test et décider quels cas de test doivent être automatisés et quels cas de test ne doivent pas être automatisés. C'est le Analyse de faisabilité de l'automatisation activité.

L'analyse de faisabilité de l'automatisation est le contributeur très important aux tests. Dans cette analyse, vous devez vérifier si l'application testée est qualifié pour un test automatisé.

Certains facteurs à prendre en compte :

Pour en savoir plus sur ces facteurs, vous pouvez utiliser un checklist qui est inclus dans cet article

Comment choisir le meilleur outil de test d'automatisation

Pour sélectionner l'outil de test le plus approprié pour le projet, le responsable de test doit suivre le processus de sélection des outils ci-dessous.

Étape 1) Identifiez les besoins en outils

Comment sélectionner un outil de test si vous ne savez pas ce que vous recherchez ?

Vous devez identifier précisément les exigences relatives à votre outil de test. Toutes les exigences doivent être documenté et examiné par les équipes projet et le comité de direction.

Prenons l'exemple suivant:

Étape 2) Évaluer les outils et les fournisseurs

Après avoir défini les exigences de l'outil, le gestionnaire de test doit

• Analyser les outils commerciaux et open source disponibles sur le marché, en fonction des exigences du projet.
• Créer un liste restreinte d'outils qui répond le mieux à vos critères
• Un facteur que vous devriez considérer est fournisseurs. Vous devez tenir compte de la réputation du fournisseur, du support après-vente, de la fréquence de mise à jour des outils, etc. avant de prendre votre décision.
• Évaluez la qualité de l'outil en prenant les utilisation d'essai et lancement d'un pilote. De nombreux fournisseurs proposent souvent des versions d'essai de leurs logiciels en téléchargement.

Étape 3) Estimer les coûts et les avantages

Pour garantir que l'outil de test soit bénéfique à l'entreprise, le responsable des tests doit équilibre les facteurs suivants :

A l'analyse coûts-avantages doit être effectué avant d’acquérir ou de construire un outil

Exemple : Après avoir consacré beaucoup de temps à la recherche d'outils de test, l'équipe projet a trouvé l'outil de test idéal pour le projet. GuruSite web de 99 Bank. Les résultats de l'évaluation ont conclu que cet outil pourrait

• Double la productivité actuelle de l'exécution des tests
• Réduire l'effort de gestion de 30%

Cependant, après discussion avec l'éditeur du logiciel, vous avez constaté que le sables moins coûteux le coût de cet outil est trop élevé par rapport à celui de La valeur et profiter qu'il peut apporter au travail d'équipe.

Dans un tel cas, le équilibre Le rapport coût-bénéfice de l'outil peut influencer la décision finale.

Étape 4) Prendre la décision finale

Pour prendre la décision finale, le Test Manager doit avoir :

• Vous Avez forte conscience de l'outil. Cela signifie que vous devez comprendre quel est le STRONG points et les faible points de l'outil
• L’équilibre coût et bénéfice.

Même après des heures passées à lire le manuel du logiciel et les informations sur le fournisseur, vous devrez peut-être essayer l'outil dans votre environnement de travail réel avant d'acheter la licence.

Vous devriez avoir la réunion avec l'équipe du projet, les consultants pour approfondir la connaissance de l'outil.

Votre décision peut avoir un impact négatif sur le projet, le processus de test et les objectifs commerciaux ; vous devriez passer un bon moment pour y réfléchir sérieusement.

L'étape 3 vous invite à comparer les coûts et les avantages. Le calcul ci-dessous transforme cette évaluation en un chiffre que vous pouvez présenter.

Comment calculer le retour sur investissement des tests d'automatisation

Une discussion sur le rapport coût-bénéfice a tendance à s'enliser car chaque partie s'appuie sur son opinion. Un simple chiffre de retour sur investissement permet de s'appuyer sur des données probantes, et la plupart des conseils d'administration exigent d'en voir un avant d'approuver l'achat d'un outil.

La comparaison de base consiste à comparer le coût de l'exécution manuelle des tests au coût total de leur automatisation.

// Cost of one manual test cycle
Manual cost per cycle = Hours per cycle x Hourly rate

// One-off and recurring cost of automating
Automation cost = Tool licence + Script development + (Maintenance x Cycles)

// Return on investment across N cycles
ROI = ((Manual cost per cycle x N) - Automation cost) / Automation cost

Quatre facteurs déterminent si le résultat est positif.

• Fréquence d'exécution : L'automatisation n'est rentable qu'avec la répétition. Une suite de scripts exécutée chaque nuit atteint le seuil de rentabilité bien plus rapidement qu'une seule exécution par version.
• Maintenance des scripts : C’est un coût que la plupart des équipes oublient. Une interface instable peut engendrer davantage d’heures de maintenance que l’exécution manuelle qu’elle remplace, ce qui correspond précisément au problème que l’analyse de faisabilité présentée ci-dessus vise à identifier.
• Modèle de licence : Les coûts par utilisateur simultané, par utilisateur nommé et les licences perpétuelles ponctuelles donnent des totaux très différents sur trois ans. Modélisez la période pendant laquelle vous prévoyez réellement de conserver l'outil.
• Avantages autres que les heures travaillées : Des retours d'information plus rapides, une détection plus précoce des défauts et des testeurs libérés pour des tâches exploratoires sont autant d'atouts précieux. Mentionnez-les en marge du graphique plutôt que de les y intégrer de force.

Astuce : Calculez le seuil de rentabilité, c'est-à-dire le nombre de cycles pour lesquels le coût de l'automatisation est égal au coût manuel. Si ce seuil est atteint au-delà de la durée de vie de la version, l'automatisation de cette suite n'est pas rentable.tracL'outil a une apparence soignée.

Éléments à prendre en compte lors du choix d'un outil de gestion de tests

Avec le large éventail de choix disponibles, il est facile de s'y perdre lors de ses achats.ping pour un outil de gestion des tests. Ce guide impartial vous aidera à choisir le meilleur outil selon vos besoins. vos besoins.

Dans ce guide, je vais vous fournir 5 paramètres les plus importants mais souvent ignorés lors de la sélection de votre outil de gestion de tests. Mais avant de commencer, permettez-moi de répéter-

Ne comparez pas Apple et Oranges

Cela n'a pas de sens de comparer un outil SaaS à 30 $ par mois avec un outil commercial à 6000  $ lorsque votre budget ne le permet pas. Il est important de filtrer votre outil avec une liste basée sur BUDGET d'abord. Si vous avez un budget limité, open-source C'est une bonne option. Bien que les outils commerciaux soient coûteux, ils offrent un excellent support et sont faciles à utiliser, avec de nombreuses ressources de formation fournies.

La prochaine chose que vous devez calculer est le coût de votre licence. Pour cela, vous devez estimer la durée de réalisation du test et la méthode que vous choisissez pour le test. Cela vous aidera à déterminer quel modèle conviendrait à votre budget, par exemple si vous souhaitez payer comme par utilisateur enregistré, utilisateur simultané ou utilisateur persistantLes coûts permanents ou ponctuels sont généralement plus élevés en raison des dépenses d'investissement qu'ils représentent. Certains logiciels nécessitent une licence d'exécution. Or, tous les fournisseurs ne proposent pas ce type de licence ; il est donc important d'en tenir compte si vous envisagez une installation sur plusieurs machines.

Une fois que vous avez distillé vos choix en fonction du budget, voici 5 paramètres très importants pour comparer vos outils de gestion de tests :

Astuce n°1 : l’outil de gestion des tests devrait améliorer la productivité

Les équipes de test sont confrontées à des défis majeurs pour suivre le rythme des évolutions technologiques rapides et répondre à la nécessité de tester sur de multiples plateformes (navigateurs et appareils). Le test manuel occupant la majeure partie du temps, l'automatisation constitue une solution. Cependant, d'autres aspects peuvent améliorer l'efficacité d'un outil, notamment la gestion efficace des environnements et des données de test, la gestion des versions et la production de rapports pertinents. Choisir le bon outil de gestion des tests peut grandement contribuer à l'amélioration de ces paramètres.

Examinons ce qui est requis d'un outil de gestion de tests du point de vue de la productivité.

Granularité des informations de test

L'outil de gestion des tests doit inclure des rapports d'informations détaillés sur le processus de test. Par exemple, en cas d'échec d'un cas de test, il est toujours utile de savoir à quelle étape le test a échoué plutôt que de constater l'échec du cas de test dans son ensemble. L'outil de gestion des tests doit informer les membres de l'équipe concernés de toute modification mineure apportée pendant les tests. Pour faciliter le suivi et permettre une action rapide, il doit également conserver un historique des modifications, incluant le versionnage complet des cas de test. De plus, l'outil de gestion des tests doit enregistrer les résultats des tests sous forme de session et permettre la comparaison des résultats d'exécution. Les autres fonctionnalités attendues d'un outil de gestion des tests standard sont : documenter la stratégie de test, planifier l'exécution des tests, créer des défauts, relier les histoires, etc. Une fonctionnalité de téléchargement de vidéo et un support API seraient une cerise sur le gâteau.

Gestion des versions Tracking (DevOps)

Les mises à jour logicielles sont complexes et comportent de multiples activités (comme tracLa gestion des versions (version de build, coordination d'équipe et transparence des mises en production) est essentielle et doit être simultanée. Un bon outil de gestion des tests doit impérativement intégrer une gestion robuste des mises en production. tracIl doit posséder une capacité essentielle permettant de conserver la liste des logiciels testés et déployés, afin d'éviter les conflits avec d'autres éléments de test. De plus, il doit être capable de gérer tous les éléments du projet dans un environnement unique.

L'outil de gestion des tests doit offrir une vue unique des exigences à toutes les parties prenantes. La collaboration avec ces dernières garantit la prise en compte des exigences pertinentes. L'outil doit être capable de : tracet les liens entre les autres ressources et exigences de développement.

Pour les équipes distribuées, il doit fournir un référentiel partagé unique pour collaborer et partager les exigences, évaluer les défauts liés et comprendre leur relation avec les tests.

Pour des raisons de qualité et de cohérence, votre outil de gestion des tests doit appliquer la standardisation.

Reporting

C'est le chaos si votre équipe de test connaît le nombre de défauts ouverts dans la version, mais ignore le temps nécessaire pour les résoudre. Pour suivre les activités de test, les ingénieurs de test dépendent fortement des rapports générés par l'outil de gestion des tests. Un outil de gestion des tests fiable doit fournir les informations suivantes dans ses rapports : progression du plan de test, statut de création du scénario de test, scénario de test échoué et réussi, statut des tests par suites, statut des tests par zone, scénario de test à automatiser, et ainsi de suite

Votre outil de gestion des tests doit permettre une visibilité complète de l'activité des développeurs et des processus du cycle de vie, de la gestion des exigences aux tests et à la correction des défauts.

Un bon outil de gestion de tests doit comprendre les attributs suivants

• Le graphique et le tableau de bord doivent donner un aperçu du nombre de vos tests automatisés exécutés ou en attente d'exécution.
• Doit mettre en évidence les attributs de test courants tels que le nombre de cas de test réussis/échoués/ignorés, la charge de travail de l'utilisateur, etc.
• Prendre une décision sur l'état de préparation de chaque version
• Affichez vos exécutions de tests automatisés ainsi que les résultats des tests manuels

Conseil n°2 : Support Agile

La demande de méthodes agiles sur le marché actuel est en constante augmentation. Il est donc essentiel que votre outil de gestion des tests prenne en charge cette méthodologie. En Agile, les exigences sont évolutives et mises en œuvre de manière incrémentale ; votre outil de gestion des tests doit pouvoir s'adapter à ces exigences. L'outil de gestion des tests agiles que vous choisirez devra favoriser une collaboration étroite entre les développeurs, les testeurs et les autres parties prenantes (principe fondamental de l'agilité).

L'outil de gestion des tests Agile doit prendre en charge

• Créer des histoires
• estimation
• Sprint planification du carnet de commandes
• Graphiques de vitesse et autres rapports, etc.
• Scrum et Kanban

Dans un environnement Agile, la comparaison des exécutions de tests via un outil de gestion des tests s'avère pertinente pour analyser l'évolution des taux de défauts par itération. Toujours en Agile, cet outil doit conserver l'historique des versions produit pour chaque itération et le backlog.

Astuce n°3 Intégration externe

L'exécution automatisée des scénarios de test peut réduire considérablement la charge des ingénieurs de test. Vous devez sélectionner un outil de gestion de tests qui s'intègre facilement à outils d'automatisationRecherchez la possibilité de gérer les scripts de test, ainsi que de planifier et de lancer des tests en local et sur l'hôte distant. La possibilité de stocker les résultats des tests automatisés dans l'outil de gestion des tests est également souhaitable. Votre outil de gestion des tests doit prendre en charge les fonctionnalités suivantes : Intégration continue. Le principal avantage de l’outil de gestion des tests avec CI est que les tests sont lancés automatiquement. Le lancement peut être déclenché par n'importe quoi, comme une validation de code source d'un développeur ou un scénario de test avec une automatisation de test sous-jacente ou une tâche planifiée pour une heure spécifique. L'intégration continue diffère en termes de temps, de détails, de direction et de granularité.

Pour toute équipe QA, intégration de bug tracoutil roi simplifie grandement leur processus de test. Un outil standard de gestion des tests qui s'intègre parfaitement à l'application SDLC ou à d'autres outils de gestion des bogues. tracDes outils performants comme JIRA, BugZilla et Mantis apportent une valeur ajoutée à l'outil. Ils devraient permettre aux utilisateurs de lier les bogues aux instances d'exécution des cas de test, pour une gestion centralisée du processus de test logiciel. Ils devraient également permettre à toute l'équipe projet de collaborer simultanément sur un même problème.

L'intégration de votre système de support technique Il s'agit d'une fonctionnalité importante que tout outil de gestion des tests devrait proposer. Un logiciel de support technique, également appelé système de tickets, permet aux utilisateurs d'obtenir une solution immédiate à leurs problèmes. Il offre aux clients une vue d'ensemble de tous les problèmes ouverts et résolus.

API La prise en charge des intégrations personnalisées est souhaitable.

Conseil n°4 sur mobile

Votre outil de gestion des tests doit prendre en charge les appareils mobiles et les tablettes.

L'assistance mobile est extrêmement utile pour les équipes qui se trouvent chez le client, et non au bureau, ou pour les managers travaillant avec des équipes situées dans différents emplacements géographiques.

L'outil de gestion des tests doit disposer d'un ensemble complet (non réduit) de fonctionnalités disponibles sur mobile.

La prise en charge de plusieurs appareils et systèmes d'exploitation mobiles est importante, car avec l'augmentation du nombre d'appareils, les problèmes de localisation, de gestes, d'accéléromètres et d'orientation se multiplient. Après tout, vous n’achetez jamais un téléphone en pensant qu’il est compatible avec votre outil de gestion de tests !

Conseil n°5 : Assistance

L'équipe d'assistance du fournisseur de l'outil de gestion des tests devrait s'engager à aider ses clients de toutes les manières possibles. De nombreux outils de gestion des tests se concentrent davantage sur la création de sites web et de publicités attrayants.tracIls souhaitent attirer davantage de clients. Mais pour assurer une activité continue et fidéliser leur clientèle, ils doivent se concentrer sur la fourniture d'un service d'assistance technique optimal.

Le meilleur outil de gestion de tests devrait avoir des fonctionnalités telles que chat en direct, appel téléphonique, FAQ et guides d'utilisation en ligne, informations sur la documentation produit, base de connaissances, création de tickets d'assistance, etc. pour aider leurs clients.

De nombreux outils de gestion des tests facilitent également vidéoconférence en direct Des experts de l'outil sont disponibles pour répondre aux questions des clients. Si une conférence en direct n'est pas possible, des démonstrations ou des vidéos enregistrées relatives à l'outil de gestion des tests doivent être accessibles en permanence sur le site. Par ailleurs, si l'outil propose une API ou une prise en charge des intégrations personnalisées, un script de démonstration et une documentation détaillée doivent être fournis aux développeurs.

Bien que tous les canaux d'assistance ci-dessus ne soient pas disponibles pour tous les outils, vous devez sélectionner un outil qui fournit votre "préféré" canal d'assistance.

Un autre paramètre important et souvent oublié est de savoir si le fournisseur d'outils est Axée sur le client? Voici quelques éléments à prendre en compte lors de la sélection de votre outil de gestion de tests :

• L'interface de l'outil doit être conviviale et inclure une fonctionnalité d'intégration client
• Il doit prendre en charge plusieurs langues et plusieurs fuseaux horaires
• Il devrait avoir une capacité de recherche avancée

J'espère que ce guide vous aidera à sélectionner l'outil qui correspond le mieux à vos besoins de test ! Pour une gestion plus complète du cycle de vie de votre application, vous souhaiterez peut-être explorer ces Outils ALM.

FAQ