Come selezionare il miglior strumento di test di automazione?

Nell'articolo Miglioramento del processo di test, hai appreso i punti di miglioramento dal progetto Guru99 Bank. Sta utilizzando un sistema automatizzato Collaudo invece di Test manuale. Ma i membri del team potrebbero chiederti:

La risposta a questa domanda è impegnativa perché ci sono molti fattori da considerare

• Desideri supportare le tue attività di test tramite uno strumento software, ma non conosci gli strumenti attualmente disponibili sul mercato
• Quale tipo di strumento si adatta meglio ai requisiti e al budget del progetto?
• Chi nel team ha le competenze per utilizzare lo strumento una volta acquistato

L'importanza della selezione dello strumento di test del software

Il successo in qualsiasi automazione di test dipende dall'identificazione dello strumento giusto per l'automazione. Selezionare lo strumento di test "corretto" per il tuo progetto è uno dei modi migliori per raggiungere l'obiettivo del progetto. Il seguente esempio ti mostrerà il vantaggio della selezione dello strumento di test

Nel progetto Guru99 Bank, per risparmiare tempo e fatica nella fase di test, il team di progetto ha deciso di utilizzare uno strumento di test automatizzato per l'esecuzione dei test. Dopo numerose riunioni, il vostro team ha selezionato uno strumento adatto al progetto.

Un mese dopo, hai ricevuto il rapporto dal team di progetto su questo strumento

I risultati sono ottimi. Il nuovo strumento automatizzato ha raddoppiato la produttività dei test. Ciò significa che abbiamo risparmiato 50% costo di esecuzione del test. Se sei interessato a esplorare più opzioni per i tuoi progetti, consulta questo elenco di strumenti di test automatizzati.

Questo è un esempio dei vantaggi derivanti dall'utilizzo di uno strumento di test all'interno di un progetto. La scelta dello strumento di test più adatto contribuisce a migliorare la produttività del progetto e a ridurne i costi.

Tipo di strumenti di test

Esistono molti tipi di strumenti di test, che un responsabile dei test può prendere in considerazione nella scelta degli strumenti di test.

Strumenti open source

Gli strumenti open source sono il programma in cui si trova il codice sorgente apertamente pubblicato per uso e/o modifica rispetto al suo design originale, gratuito.

Sono disponibili strumenti open source per quasi tutte le fasi del processo di test, da Test Case gestione a Difetto tracre. Rispetto agli strumenti commerciali, gli strumenti open source potrebbero avere meno funzionalità.

Strumenti commerciali

Gli strumenti commerciali sono software prodotti per la vendita o per scopi commerciali.

Gli strumenti commerciali hanno più supporto e più funzionalità da parte di un fornitore rispetto agli strumenti open source.

Strumenti personalizzati

In alcuni progetti di test, l'ambiente e il processo di test presentano caratteristiche particolari. Nessuno strumento open-source o commerciale è in grado di soddisfare tali requisiti. Pertanto, il responsabile dei test deve valutare lo sviluppo di uno strumento personalizzato.

Esempio: Vuoi trovare uno strumento di test per il progetto Guru99 Bank. Desideri che questo strumento soddisfi alcuni requisiti specifici del progetto.

A prescindere dalla categoria a cui propendi, la domanda successiva è se i tuoi test siano effettivamente adatti all'automazione.

Analisi di fattibilità dell'automazione

Tornando all'esempio precedente, il team di progetto ha deciso di sviluppare uno strumento personalizzato in grado di soddisfare i requisiti del progetto. Supponiamo che siano stati assegnati 100 casi di test da automatizzare e che abbiano stimato 5 giorni per sviluppare uno strumento in grado di automatizzare contro tutti i di quei casi di prova.

Ecco il risultato del loro lavoro

Come nello scenario precedente, il problema è che lo strumento di test non può automatizzare tutti i casi di test delle specifiche di test. Significa che non tutto le funzionalità dell'applicazione possono essere a fondo testato utilizzando lo strumento di test.

Se la funzionalità dell'applicazione sotto test cambia frequentemente o lo è anche lui complicato, è difficile creare automazione dei test per contro tutti i le funzionalità dell'applicazione, perché ogni strumento ha le proprie limiti.

Se non vuoi trovarti in una situazione del genere, prima di selezionare lo strumento di test, devi analizzare i casi di test e decidere quali casi di test dovrebbero essere automatizzati e quali no. Questo è il Analisi di fattibilità dell'automazione attività.

L'analisi di fattibilità dell'automazione fornisce un contributo molto significativo ai test. In questa analisi, è necessario verificare se l'applicazione sotto test lo è qualificato per test automatizzati.

Alcuni fattori che devi considerare:

Per saperne di più su questi fattori, puoi utilizzare a Lista di controllo che è incluso in questo articolo

Come selezionare il miglior strumento di test di automazione

Per selezionare lo strumento di test più adatto al progetto, il Responsabile del test deve seguire il processo di selezione degli strumenti riportato di seguito

Passaggio 1) Identificare i requisiti per gli strumenti

Come puoi selezionare uno strumento di test se non sai cosa stai cercando?

È necessario identificare con precisione i requisiti dello strumento di test. Tutti i requisiti devono essere documentata and rivisto dai team di progetto e dal consiglio di amministrazione.

Considera il seguente esempio:

Passaggio 2) Valutare gli strumenti e i fornitori

Dopo aver individuato i requisiti dello strumento, il Test Manager dovrebbe

• Analizzare gli strumenti commerciali e open source disponibili sul mercato, in base ai requisiti del progetto.
• Creare un lista degli strumenti che meglio soddisfa i tuoi criteri
• Un fattore che dovresti considerare è fornitori. Dovresti considerare la reputazione del fornitore, il supporto post vendita, la frequenza di aggiornamento dello strumento, ecc. mentre prendi la tua decisione.
• Valutare la qualità dello strumento prendendo il utilizzo di prova e lancio di un progetto pilota. Molti fornitori spesso mettono a disposizione per il download versioni di prova del loro software

Passaggio 3) Stima dei costi e dei benefici

Per garantire che lo strumento di test sia vantaggioso per l'azienda, il responsabile dei test deve equilibrio i seguenti fattori:

A analisi costi benefici dovrebbe essere eseguita prima di acquisire o costruire uno strumento

Esempio: Dopo aver dedicato molto tempo alla ricerca di strumenti di test, il team di progetto ha trovato lo strumento di test perfetto per il progetto GuruSito web di 99 Bank. I risultati della valutazione hanno concluso che questo strumento potrebbe

• Double l'attuale produttività dell'esecuzione del test
• Riduce lo sforzo di gestione del 30%

Tuttavia, dopo aver discusso con il fornitore del software, hai scoperto che costo di questo strumento è troppo alto rispetto al APPREZZIAMO and beneficio che può apportare al lavoro di squadra.

In tal caso, il file equilibrio Il rapporto costi-benefici dello strumento potrebbe influenzare la decisione finale.

Passaggio 4) Prendi la decisione finale

Per prendere la decisione finale, il Responsabile del Test deve avere:

• Avere un forte consapevolezza dello strumento. Significa che devi capire qual è il forte punti e il debole punti dello strumento
• Equilibrio costi e benefici.

Anche dopo aver trascorso ore a leggere il manuale del software e le informazioni del fornitore, potresti comunque aver bisogno di provare lo strumento nel tuo ambiente di lavoro reale prima di acquistare la licenza.

Dovresti avere un incontro con il team di progetto e i consulenti per ottenere una conoscenza più approfondita dello strumento.

La tua decisione potrebbe avere un impatto negativo sul progetto, sul processo di test e sugli obiettivi aziendali; dovresti dedicare un po' di tempo a pensarci bene.

Il passaggio 3 richiede di valutare il rapporto costi-benefici. Il calcolo seguente trasforma tale valutazione in un numero che è possibile presentare.

Come calcolare il ROI dei test automatizzati

Una discussione sui costi e benefici tende a bloccarsi perché entrambe le parti argomentano basandosi su opinioni personali. Un semplice dato sul ritorno sull'investimento sposta la conversazione su dati concreti, e la maggior parte dei consigli di amministrazione si aspetta di vederne uno prima di approvare l'acquisto di uno strumento.

Il confronto fondamentale consiste nel mettere a confronto il costo dell'esecuzione manuale dei test con il costo totale della loro automazione.

// Cost of one manual test cycle
Manual cost per cycle = Hours per cycle x Hourly rate

// One-off and recurring cost of automating
Automation cost = Tool licence + Script development + (Maintenance x Cycles)

// Return on investment across N cycles
ROI = ((Manual cost per cycle x N) - Automation cost) / Automation cost

Quattro parametri determinano se il risultato è positivo.

• Frequenza di esecuzione: L'automazione si ripaga solo con la ripetizione. Una suite eseguita ogni notte raggiunge il punto di pareggio molto prima di una singola esecuzione per ogni rilascio.
• Manutenzione degli script: Questo è il costo che la maggior parte dei team tende a sottovalutare. Un'interfaccia instabile può richiedere più ore di manutenzione rispetto all'esecuzione manuale che ha sostituito, ed è proprio questa la situazione che l'analisi di fattibilità di cui sopra intende individuare.
• Modello di licenza: Le licenze per utente simultaneo, per utente nominativo e le licenze perpetue una tantum producono totali molto diversi su tre anni. Calcola il periodo per il quale intendi effettivamente utilizzare lo strumento.
• Benefici che non si misurano in ore lavorative: Un feedback più rapido, difetti individuati prima e tester liberi di dedicarsi al lavoro esplorativo sono vantaggi concreti. Indicateli a fianco della figura, anziché cercare di inserirli a forza.

Suggerimento: Calcola il punto di pareggio, ovvero il numero di cicli in cui il costo dell'automazione è uguale al costo manuale. Se il punto di pareggio cade oltre la durata della release, automatizzare quella suite non è conveniente, tuttavia atracguarda lo strumento.

Cose da considerare durante la scelta di uno strumento di gestione dei test

Con la vasta gamma di scelte disponibili, è facile confondersi durante lo shoppingping per uno strumento di gestione dei test. Questa è una guida imparziale per aiutarti a individuare lo strumento migliore in base a I tuoi bisogni.

In questa guida ti fornirò i 5 parametri più importanti ma spesso ignorati durante la selezione dello strumento di gestione dei test. Ma prima di iniziare, lasciami ripetere:

Non confrontare mele e arance

Non ha senso confrontare uno strumento SaaS da $ 30 al mese con uno strumento commerciale completo da $ 6000 quando il tuo budget non lo consente. È importante filtrare il tuo strumento con un elenco basato su BUDGET Primo. Se hai un budget limitato, open-source è una buona opzione. Sebbene gli strumenti commerciali siano costosi, offrono un ottimo supporto e sono facili da usare, con molto materiale formativo a disposizione.

La prossima cosa che dovresti calcolare è il costo della tua licenza. Per questo devi stimare la durata del completamento del test e quale metodo scegli per il test, questo ti aiuterà a capire quale modello si adatterebbe al tuo budget, ad esempio se desideri pagare come per utente registrato, utente simultaneo o utente persistenteSolitamente, i costi fissi o una tantum sono più elevati a causa della spesa in conto capitale. Per alcuni software è necessaria una licenza runtime. Non tutti i fornitori supportano le licenze runtime, quindi è necessario considerare anche il costo della licenza runtime se si intende installare il software su macchine diverse.

Una volta distillate le tue scelte in base al budget, ecco 5 parametri molto importanti per confrontare i tuoi strumenti di gestione dei test:

Suggerimento n. 1 Lo strumento di gestione dei test dovrebbe migliorare la produttività

I team di test si trovano ad affrontare sfide considerevoli per stare al passo con i rapidi cambiamenti tecnologici e la necessità di testare su più piattaforme (sia browser che dispositivi). Poiché i test manuali occupano la maggior parte del tempo dedicato al testing, un modo per affrontare questa sfida è quello di potenziare l'automazione. Tuttavia, esistono altri aspetti in cui è possibile migliorare l'efficienza di uno strumento, tra cui una gestione efficace del laboratorio/dei dati di test, la gestione delle release e la creazione di report dettagliati. La scelta del giusto strumento di gestione dei test può contribuire in modo significativo a migliorare questi parametri.

Esaminiamo cosa è richiesto da uno strumento di gestione dei test dal punto di vista della produttività:

Granularità delle informazioni del test

Lo strumento di gestione dei test dovrebbe includere report informativi dettagliati relativi al processo di test. Ad esempio, in caso di errore in un caso di test, è sempre utile sapere in quale fase il test è fallito, anziché sapere che il caso di test è fallito nel suo complesso. Qualsiasi piccola modifica apportata durante il test dovrebbe essere comunicata ai membri del team interessati. Per facilitare il follow-up e consentire un intervento rapido, lo strumento dovrebbe anche mantenere una traccia di controllo delle modifiche, inclusa la gestione completa delle versioni dei casi di test. Inoltre, lo strumento di gestione dei test dovrebbe salvare i risultati del test come sessione e deve essere in grado di confrontare i risultati delle esecuzioni del test. Le altre funzionalità previste per uno strumento di gestione dei test standard sono: documentare la strategia di test, pianificare l'esecuzione dei test, creare difetti, collegare storie, ecc. Una funzione di caricamento video e il supporto API sarebbero la ciliegina sulla torta.

Gestione delle versioni Tracking (DevOps)

Le release del software sono complesse e prevedono molteplici attività (come tracgestione della versione di build, coordinamento del team e trasparenza delle release) tutto avviene contemporaneamente. Un buon strumento di gestione dei test deve avere una solida gestione delle release. tracCapacità fondamentale che mantenga traccia dell'elenco del software in fase di test e rilascio, in modo da evitare conflitti con altri artefatti di test. Inoltre, dovrebbe essere in grado di gestire tutti gli artefatti del progetto in un unico ambiente.

Lo strumento di gestione dei test deve fornire una visione unica dei requisiti per tutte le parti interessate. La collaborazione con le parti interessate garantisce che vengano acquisiti i requisiti corretti. Lo strumento dovrebbe essere in grado di trace i collegamenti tra le altre risorse e i requisiti di sviluppo.

Per i team distribuiti, dovrebbe fornire un unico repository condiviso per collaborare e condividere requisiti, valutare i difetti collegati e comprendere la loro relazione con i test.

Per garantire qualità e coerenza, il tuo strumento di gestione dei test deve imporre la standardizzazione.

Reportistica

Si crea il caos se il team di test sa quanti difetti sono presenti nella release ma non sa quanto tempo ci vorrà per risolverli. Per monitorare le attività di test, gli ingegneri del test dipendono fortemente dai report generati dallo strumento di gestione dei test. Uno strumento di gestione dei test affidabile dovrebbe fornire le seguenti informazioni nei suoi report: avanzamento del piano di test, stato di creazione del test case, test case fallito e superato, stato del test per suite, stato del test per area, test case da automatizzare, ecc.

Lo strumento di gestione dei test dovrebbe consentire la piena visibilità dell'attività degli sviluppatori e dei processi del ciclo di vita, dalla gestione dei requisiti al test e alla correzione dei difetti.

Un buon strumento di gestione dei test dovrebbe comprendere i seguenti attributi

• Il grafico e la dashboard dovrebbero fornire informazioni su quanti dei tuoi test automatizzati sono stati eseguiti o in attesa di esecuzione
• Dovrebbe evidenziare gli attributi comuni dei test come il numero di casi di test superati/falliti/saltati, il carico di lavoro dell'utente, ecc.
• Prendere una decisione sulla preparazione di ogni versione
• Visualizza le esecuzioni dei test automatizzati insieme ai risultati dei test manuali

Suggerimento n. 2 Supporto agile

La domanda di metodologie agili nel mercato attuale è in costante aumento. È fondamentale che il tuo strumento di gestione dei test supporti la metodologia agile. In Agile, i requisiti sono mutevoli e vengono completati in modo incrementale; il tuo strumento di gestione dei test deve essere in grado di soddisfare tali esigenze. Lo strumento di gestione dei test agile che sceglierai dovrebbe promuovere una stretta collaborazione tra sviluppatori, tester e altri stakeholder (principio fondamentale di Agile).

Lo strumento di gestione dei test Agile dovrebbe supportare

• Creare storie
• stima
• Sprint pianificazione del portafoglio ordini
• Grafici di velocità e altri rapporti, ecc.
• Scrum e Kanban

In un ambiente Agile, il confronto delle esecuzioni dei test tramite uno strumento di gestione dei test può essere utile per analizzare le variazioni del tasso di difetti per iterazione. Inoltre, in un contesto Agile, lo strumento di gestione dei test deve tenere traccia del rilascio del prodotto per ogni iterazione e del backlog.

Suggerimento n. 3 Integrazione esterna

L'esecuzione automatizzata dei test case può ridurre notevolmente l'onere degli ingegneri di test. Dovresti selezionare uno strumento di gestione dei test che si integri facilmente con strumenti di automazione. Cerca la capacità di gestire gli script di test, nonché di pianificare e avviare i test sia in locale che sull'host remoto. È inoltre auspicabile la capacità di archiviare i risultati dei test di automazione nello strumento di gestione dei test. Il tuo strumento di gestione dei test deve supportare integrazione continua. Il vantaggio principale dello strumento di gestione dei test con CI è che i test vengono avviati automaticamente. Il lancio può essere attivato da qualcosa come il commit del codice sorgente da parte di uno sviluppatore o un caso di test con automazione del test sottostante o un'attività pianificata per un orario specifico. L'Integrazione continua differisce nel tempo, nel dettaglio, nella direzione e nella granularità.

Per qualsiasi team di QA, integrazione di insetto tracstrumento re semplifica notevolmente il loro processo di test. Uno strumento standard di gestione dei test che si integra perfettamente con l'app SDLC o altri bug tracStrumenti di alto livello come JIRA, BugZilla e Mantis aggiungono ulteriore valore allo strumento. Dovrebbero consentire agli utenti di collegare i bug, eseguire casi di test e gestire centralmente il processo di test del software. Dovrebbero inoltre permettere all'intero team di progetto di lavorare contemporaneamente su un singolo problema.

L'integrazione del tuo sistema di scrivania di supporto È una caratteristica importante che qualsiasi strumento di gestione dei test dovrebbe offrire. Un software di assistenza clienti, noto anche come sistema di ticket, aiuta gli utenti a ottenere una soluzione immediata ai loro problemi. Consente inoltre ai clienti di avere una panoramica di tutti i problemi aperti e chiusi.

API È auspicabile il supporto per integrazioni personalizzate.

Suggerimento n.4 Cellulare

Lo strumento di gestione dei test dovrebbe supportare dispositivi mobili e tablet.

Il supporto mobile è estremamente utile per i team che si trovano presso la sede del cliente, non alla scrivania, o per i manager che lavorano con team in diverse località geografiche.

Lo strumento di gestione del test deve avere un set di funzionalità completo (non ridotto) disponibile sui dispositivi mobili.

Il supporto per più dispositivi e sistemi operativi mobili è importante poiché con l'aumento del numero di dispositivi ci sono più complessità come problemi di posizione, gesti, accelerometri e orientamento. Dopotutto, non compri mai un telefono pensando che sia compatibile con il tuo strumento di gestione dei test!

Suggerimento n. 5 Supporto

Il team di supporto del fornitore dello strumento di gestione dei test dovrebbe impegnarsi ad aiutare i propri clienti in tutti i modi possibili. Molti strumenti di gestione dei test sono più focalizzati sulla creazione di siti web e annunci accattivanti pertracper acquisire più clienti. Ma per un business continuo e ripetuto, devono concentrarsi sull'offerta di un supporto help desk di alta qualità.

Il miglior strumento di gestione dei test dovrebbe avere funzionalità come chat dal vivo, telefonata, domande frequenti e guide per l'utente online, informazioni sulla documentazione del prodotto, knowledge base, raccolta di ticket dell'help desk, ecc. per aiutare i propri clienti.

Molti strumenti di gestione dei test facilitano anche videoconferenza dal vivo con esperti dello strumento per risolvere le domande dei clienti. Se la conferenza dal vivo non è fattibile, demo o video registrati relativi allo strumento di gestione dei test devono essere sempre disponibili in loco e accessibili in qualsiasi momento. Per gli sviluppatori, se lo strumento offre API o supporto per integrazioni personalizzate, devono essere forniti script di demo e documentazione dettagliata.

Sebbene tutti i canali di supporto sopra indicati potrebbero non essere disponibili per tutti gli strumenti, dovresti selezionare uno strumento che fornisca il tuo "preferito"canale di supporto.

Un parametro più importante e spesso dimenticato è se lo è il fornitore dello strumento Incentrato sui clienti? Ecco alcune cose da considerare durante la selezione dello strumento di gestione dei test:

• L'interfaccia dello strumento dovrebbe essere facile da usare e includere funzionalità di integrazione del cliente
• Dovrebbe ospitare più lingue e più fusi orari
• Dovrebbe avere una capacità di ricerca avanzata

Spero che questa guida ti aiuti a selezionare lo strumento che meglio si adatta alle tue esigenze di test! Per una gestione più completa del ciclo di vita della tua applicazione, potresti voler esplorarli Strumenti dell'ALM.

DOMANDE FREQUENTI