Hogyan válasszuk ki a legjobb automatizálási tesztelő eszközt?

A cikkben Tesztfolyamat javítása, megtanultad a fejlesztési pontokat a projektből Guru99 Bank. Automatizált rendszereket használ. Tesztelés helyett Kézi tesztelés. De a csapat tagjai megkérdezhetik,

A kérdés megválaszolása nehéz, mert számos tényezőt kell figyelembe venni

• Teszttevékenységét szeretné támogatni egy szoftvereszközzel, de nem ismeri a piacon jelenleg elérhető eszközöket
• Melyik típusú eszköz felel meg a legjobban a követelményeknek és a projekt költségvetésének?
• A csapatból kinek van készsége az eszköz használatához, miután megvásárolta

A szoftvertesztelő eszköz kiválasztásának jelentősége

A tesztautomatizálás sikere a megfelelő automatizálási eszköz azonosításán múlik. A „helyes” tesztelőeszköz kiválasztása a projekthez az egyik legjobb módja a projektcél elérésének. A következő példa bemutatja a tesztelőeszköz-választás előnyeit

A projektben GuruA 99 Bank esetében a teszteléssel járó erőfeszítések megtakarítása érdekében a projektcsapat úgy döntött, hogy automatizált tesztelőeszközt használ a tesztek végrehajtásához. Számos megbeszélés után a csapat kiválasztott egy megfelelő eszközt a projekthez.

Egy hónappal később megkapta a jelentést a projektcsapattól az eszközről

Az eredmények nagyszerűek. Az új automatizált eszköz megduplázta a tesztelés hatékonyságát. Ez azt jelenti, hogy megmentettük 50% teszt végrehajtásának költsége. Ha további lehetőségeket szeretne felfedezni projektjeihez, tekintse meg ezt a listát automatizált tesztelő eszközök.

Ez egy példa a tesztelőeszköz projektben való használatának előnyeire. A megfelelő tesztelőeszköz kiválasztása segíthet a projekt termelékenységének javításában és a projektköltségek megtakarításában.

Teszteszközök típusa

Sokféle teszteszköz létezik, amelyeket a tesztmenedzser figyelembe vehet a teszteszközök kiválasztásakor.

Nyílt forráskódú eszközök

A nyílt forráskódú eszközök azok a programok, amelyekben a forráskód található nyíltan felhasználásra és/vagy eredeti tervének módosítására közzétéve, díjmentes.

Nyílt forráskódú eszközök állnak rendelkezésre a tesztelési folyamat szinte bármely szakaszához Teszt eset menedzsmentje Disszidál trackirály. A kereskedelmi eszközökhöz képest a nyílt forráskódú eszközök kevesebb funkcióval rendelkezhetnek.

Kereskedelmi eszközök

A kereskedelmi eszközök azok a szoftverek, amelyeket eladásra vagy kereskedelmi célokra gyártanak.

A kereskedelmi eszközök több támogatást és több funkciót kínálnak a gyártótól, mint a nyílt forráskódú eszközök.

Egyéni eszközök

Néhány tesztelési projektben a tesztelési környezet és a tesztelési folyamat speciális jellemzőkkel bír. Egyetlen nyílt forráskódú vagy kereskedelmi forgalomban kapható eszköz sem tudja kielégíteni ezeket a követelményeket. Ezért a tesztmenedzsernek figyelembe kell vennie az egyedi eszköz fejlesztését.

Példa: Tesztelőeszközt szeretne találni a projekthez Guru99 Bank. Azt szeretné, hogy ez az eszköz megfeleljen a projekt valamilyen konkrét követelményének.

Bármelyik kategóriába is sorolunk, a következő kérdés az, hogy a tesztjeink egyáltalán alkalmasak-e automatizálásra.

Automatizálási megvalósíthatósági elemzés

Visszatérve a fenti példához, a projektcsapat úgy döntött, hogy kifejleszt egy egyedi eszközt, amely megfelel a projekt követelményeinek. Tegyük fel, hogy 100 tesztesetet kaptak az automatizálásra, és becslések szerint 5 napjuk van egy olyan eszköz kifejlesztésére, amely képes automatizálni. minden azon tesztesetek közül.

Íme munkájuk eredménye

A fenti forgatókönyvhöz hasonlóan a probléma az, hogy a teszteszköz nem tudja automatizálni a tesztspecifikáció összes tesztesetét. Ez azt jelenti nem mind alkalmazás jellemzői lehetnek alaposan teszteszközzel tesztelték.

Ha a tesztelt alkalmazás funkcionalitása gyakran változik vagy az is bonyolult, nehéz tesztautomatizálást létrehozni a számára minden az alkalmazás jellemzőit, mert minden eszköznek megvan a sajátja korlátozások.

Ha nem szeretne ilyen helyzetbe kerülni, a teszteszköz kiválasztása előtt ki kell elemeznie a teszteseteket, és el kell döntenie, hogy mely teszteseteket kell automatizálni, és melyeket nem. Ez a Automatizálási megvalósíthatósági elemzés aktivitást.

Az automatizálási megvalósíthatósági elemzés nagyon jelentős szerepet játszik a tesztelésben. Ebben az elemzésben ellenőriznie kell, hogy a tesztelt alkalmazás megfelelő-e képzett automatizált teszthez.

Néhány tényezőt figyelembe kell vennie:

Ha többet szeretne megtudni ezekről a tényezőkről, használhatja a lista amely ebben a cikkben szerepel

Hogyan válasszuk ki a legjobb automatizálási tesztelő eszközt

A projekthez legmegfelelőbb tesztelőeszköz kiválasztásához a Tesztkezelőnek követnie kell az alábbi eszközválasztási folyamatot

1. lépés) Határozza meg az eszközökre vonatkozó követelményeket

Hogyan választhat ki egy tesztelőeszközt, ha nem tudja, mit keres?

Pontosan meg kell határoznia a teszteszköz követelményeit. Minden követelménynek teljesülnie kell. dokumentált és a felül a projektcsapatok és az igazgatóság.

Tekintsük a következő példát:

2. lépés) Értékelje az eszközöket és a szállítókat

Miután meghatározta az eszköz követelményeit, a Tesztkezelőnek kell

• Elemezze a piacon elérhető kereskedelmi és nyílt forráskódú eszközöket a projekt követelményei alapján.
• Hozzon létre egy eszközök szűkített listája amely a legjobban megfelel a kritériumainak
• Az egyik tényező, amelyet figyelembe kell vennie gyártók. A döntés meghozatalakor figyelembe kell vennie az eladó hírnevét, az értékesítés utáni támogatást, a szerszámfrissítés gyakoriságát stb.
• Értékelje az eszköz minőségét a próbahasználat és pilot indítása. Sok szállító gyakran letölthetővé teszi szoftverének próbaverzióit

3. lépés) Költség és haszon becslése

Annak érdekében, hogy a teszteszköz hasznos legyen az üzleti életben, a tesztmenedzsernek a következőket kell tennie: egyensúly a következő tényezők:

A költség-haszon elemzés szerszám beszerzése vagy megépítése előtt kell elvégezni

Példa: Miután jelentős időt töltöttek a tesztelőeszközök vizsgálatával, a projektcsapat megtalálta a projekthez tökéletes tesztelőeszközt. Guru99 Bank weboldala. Az értékelés eredményei arra a következtetésre jutottak, hogy ez az eszköz

• Double a tesztvégrehajtás jelenlegi termelékenysége
• Csökkentse a menedzsment erőfeszítése 30%-kal

A szoftverszállítóval folytatott megbeszélés után azonban úgy találta, hogy a költség ennek az eszköznek a ára túl magas a érték és a haszon amit a csapatmunkába hozhat.

Ilyen esetben a egyensúly Az eszköz költségének és előnyeinek különbsége befolyásolhatja a végső döntést.

4. lépés) Hozd meg a végső döntést

A végső döntés meghozatalához a tesztmenedzsernek rendelkeznie kell:

• Van egy erős tudatosság az eszközről. Ez azt jelenti, hogy meg kell értened, melyik az erős pontok és a gyenge a szerszám pontjai
• Egyenleg költség és haszon.

Még a szoftver kézikönyvének és a szállítói információinak olvasásával töltött órák ellenére is előfordulhat, hogy a licenc megvásárlása előtt ki kell próbálnia az eszközt a tényleges munkakörnyezetében.

Meg kell találkoznia a projektcsapattal, tanácsadókkal, hogy mélyebb ismereteket szerezzen az eszközről.

Döntése hátrányosan befolyásolhatja a projektet, a tesztelési folyamatot és az üzleti célokat; jó időt kell töltened, hogy alaposan átgondold.

A 3. lépésben mérlegelned kell a költségeket a haszonnal. Az alábbi számítás ezt az értékelést egy számmá alakítja, amelyet bemutathatsz.

Hogyan számítható ki az automatizált tesztelés megtérülése?

A költség-haszon viták hajlamosak elakadni, mert mindkét fél a saját véleményéből érvel. Egy egyszerű megtérülési adat a bizonyítékokra tereli a szót, és a legtöbb vezetőség elvárja, hogy bizonyítékokat lásson, mielőtt jóváhagyna egy szerszámvásárlást.

Az alapvető összehasonlítás a tesztek manuális futtatásának költsége az automatizálásuk teljes költségével szemben.

// Cost of one manual test cycle
Manual cost per cycle = Hours per cycle x Hourly rate

// One-off and recurring cost of automating
Automation cost = Tool licence + Script development + (Maintenance x Cycles)

// Return on investment across N cycles
ROI = ((Manual cost per cycle x N) - Automation cost) / Automation cost

Négy bemenet dönti el, hogy a szám pozitív-e.

• Végrehajtási gyakoriság: Az automatizálás csak ismétlés útján térül meg. Egy éjszakánként futtatott csomag sokkal hamarabb eléri a megtérülési pontot, mint egy kiadásonkénti futtatás.
• Szkriptkarbantartás: Ez az a költség, amit a legtöbb csapat elfelejt. Egy illékony interfész több karbantartási órát vehet igénybe, mint a manuális végrehajtás, amit helyettesített, és pontosan ezt a helyzetet hivatott megragadni a fenti megvalósíthatósági elemzés.
• Jogosítvány modell: Az egyidejű felhasználónkénti, a megnevezett felhasználónkénti és az egyszeri örökös licencek nagyon eltérő összegeket eredményeznek három év alatt. Modellezd azt az időszakot, amelyre ténylegesen meg szeretnéd tartani az eszközt.
• Nem munkaórának minősülő juttatások: A gyorsabb visszajelzés, a korábban felfedezett hibák és a tesztelők felszabadítása a feltáró munkára valódi értéket képvisel. Ezeket az ábra mellett kell feltüntetni, ahelyett, hogy beleerőltetnénk őket.

💡 Tipp: Számítsa ki a megtérülési pontot, amely a ciklusok száma, amelynél az automatizálási költség megegyezik a manuális költséggel. Ha a megtérülési pont a kiadás élettartama utánra esik, akkor az adott csomag automatizálása nem éri meg, azonban...traca szerszám kinézete.

Mit kell figyelembe venni a tesztkezelő eszköz kiválasztásakor

A hatalmas választék miatt könnyű eltévedni vásárlás közbenping egy tesztkezelő eszközhöz. Ez egy elfogulatlan útmutató, amely segít kiválasztani a legjobb eszközt a a szükségleteid.

Ebben az útmutatóban az 5 legfontosabb, de gyakran figyelmen kívül hagyott paramétert mutatom be a tesztkezelési eszköz kiválasztásakor. De mielőtt elkezdeném, hadd ismételjem meg

Ne hasonlítsa össze az almát és a narancsot

Nincs értelme összehasonlítani egy havi 30 dolláros SaaS-eszközt egy teljes értékű, 6000 dolláros kereskedelmi eszközzel, ha a költségvetés ezt nem teszi lehetővé. Fontos, hogy az eszközt listával szűrje KÖLTSÉGVETÉS első. Ha költségvetésben, nyílt forráskódú jó választás. Bár a kereskedelmi forgalomban kapható eszközök drágák, nagyszerű támogatást nyújtanak, könnyen használhatóak és rengeteg oktatóanyagot is biztosítanak.

A következő dolog, amit ki kell számítania, az a licenc költsége. Ehhez meg kell becsülnie a teszt befejezésének időtartamát és azt, hogy milyen módszert választ, ez segít kitalálni, hogy melyik modell férne bele a költségvetésébe, például, hogy szeretne-e fizetni regisztrált felhasználónként, egyidejű felhasználónként vagy állandó felhasználónkéntÁltalában az állandó vagy egyszeri költségek magasabbak a tőkekiadás miatt. Bizonyos szoftverekhez futásidejű licencre van szükség. Nem minden gyártó támogatja a futásidejű licenceket, ezért a futásidejű licenc költségét is figyelembe kell venni, ha különböző gépekre szeretné telepíteni.

Miután kiválasztotta a költségvetés alapján, itt van 5 nagyon fontos paraméter a tesztkezelési eszközök összehasonlításához:

1. tipp A tesztkezelő eszköznek javítania kell a termelékenységet

A tesztelőcsapatok jelentős kihívásokkal néznek szembe, hogy lépést tartsanak a gyors technológiai változásokkal és a több platformon (mind böngészőkön, mind eszközökön) történő tesztelés iránti igényekkel. Mivel a manuális tesztelés a tesztelési idő nagy részét lefedi, ennek a kihívásnak az egyik módja az automatizálás fokozása. De vannak más területek is, ahol javítani lehet egy eszköz hatékonyságát, beleértve a hatékony tesztlabor/adatkezelést, a kiadáskezelést és az informatív jelentéskészítést, többek között. A megfelelő tesztkezelő eszköz kiválasztása óriási mértékben segíthet ezen paraméterek javításában.

Nézzük meg, mire van szükség egy tesztkezelő eszköztől a termelékenység szempontjából.

A tesztinformáció részletessége

A tesztkezelő eszköznek részletes információs jelentéseket kell tartalmaznia a tesztelési folyamattal kapcsolatban. Például egy teszteset kudarca esetén mindig hasznos tudni, hogy a teszt melyik lépésnél hibázott, ahelyett, hogy a teszteset egészében hibázott volna. Bármilyen kisebb változtatást is alkalmaztak a tesztelés során, a tesztkezelő eszköznek tájékoztatnia kell a változásokról a megfelelő csapattagokat. Az egyszerű nyomon követés és a gyors reagálás érdekében naplót kell vezetnie a változtatásokról, beleértve a tesztesetek teljes verziózását is. A tesztkezelő eszköznek a teszteredményeket munkamenetként kell mentenie, és képesnek kell lennie a tesztfutási eredmények összehasonlítására. A szabványos tesztkezelő eszközöktől elvárt egyéb funkciók a következők: tesztstratégia dokumentálása, teszt végrehajtásának tervezése, hibák létrehozása, történetek összekapcsolása, stb. A videó feltöltési funkció és az API-támogatás hab a tortán.

Kiadáskezelés Tracking (DevOps)

A szoftverkiadások összetettek, több tevékenységgel járóak (például trac(a build verziók királya, a csapat koordinációja és a kiadások átláthatósága) mind egyszerre történnek. Egy jó tesztkezelő eszköznek robusztus kiadáskezeléssel kell rendelkeznie. tracEgy olyan királyi képesség, amely nyilvántartja a tesztelt és kiadott szoftverek listáját, így nem ütközik más teszttermékekkel. Ezenkívül képesnek kell lennie az összes projekttermék egyetlen környezetben történő kezelésére.

A tesztmenedzsment eszköznek egységes képet kell nyújtania a követelményekről minden érdekelt fél számára. Az érdekelt felekkel való együttműködés garantálja, hogy a megfelelő követelmények kerüljenek rögzítésre. Az eszköznek képesnek kell lennie a következőkre: trace az egyéb fejlesztési eszközök és követelmények közötti kapcsolatok.

Az elosztott csapatok számára egyetlen megosztott adattárat kell biztosítania az együttműködéshez és a követelmények megosztásához, a kapcsolódó hibák értékeléséhez és a tesztekhez való viszonyuk megértéséhez.

A minőség és a következetesség érdekében a tesztkezelési eszköznek ki kell kényszerítenie a szabványosítást.

Beépített reporting

Káoszos lehet, ha a tesztelőcsapat tudja, hogy hány nyitott hiba van a kiadásban, de nem tudja, mennyi időbe telik a javításuk. A tesztelési tevékenységek monitorozásához a tesztmérnökök nagymértékben támaszkodnak a tesztmenedzsment eszköz által generált jelentésekre. Egy megbízható tesztmenedzsment eszköznek a következő információkat kell szolgáltatnia a jelentéseiben, például: tesztterv előrehaladása, teszteset szerzői állapota, teszteset sikertelen és sikeres, tesztállapot csomagok szerint, tesztállapot területenként, automatizálandó teszteset, stb.

A tesztkezelő eszköznek lehetővé kell tennie a fejlesztői tevékenységek és az életciklus-folyamatok teljes láthatóságát a követelménykezeléstől a tesztelésig és a hibák kijavításáig.

Egy jó tesztkezelő eszköznek a következő attribútumokból kell állnia

• A grafikonnak és az irányítópultnak betekintést kell nyújtania abba, hogy hány automatikus teszt futott le vagy vár végrehajtásra
• Ki kell emelnie az általános tesztattribútumokat, például a sikeres/sikertelen/kihagyott tesztesetek számát, a felhasználói munkaterhelést stb.
• Döntsön az egyes kiadások készenlétéről
• Tekintse meg automatizált tesztfutásait a kézi teszteredményekkel együtt

2. tipp Agilis támogatás

A jelenlegi piacon egyre nagyobb az agilis módszertan iránti igény, és ez a szám napról napra növekszik. Fontos, hogy a tesztmenedzsment eszközöd támogassa az agilis módszertant. Az agilis módszertanban a követelmények módosíthatók és fokozatosan teljesíthetők, a tesztmenedzsment eszközödnek képesnek kell lennie az ilyen követelmények kielégítésére. A választott agilis tesztmenedzsment eszköznek elő kell mozdítania a mély partnerséget a fejlesztők, tesztelők és más érdekelt felek között (az agilis alapelve).

Az Agilis tesztkezelő eszköznek támogatnia kell

• Történetek készítése
• Becslés
• Sprint elmaradás tervezése
• Sebességdiagramok és egyéb jelentések stb.
• Scrum és Kanban

Egy agilis környezetben a tesztfuttatások összehasonlítása tesztmenedzsment eszközzel produktív lehet, ha az iterációnkénti hibaarányok változásait vizsgáljuk. Az agilis környezetben a tesztmenedzsment eszköznek minden iterációhoz rögzítenie kell a termékkiadást és a várakozó tételeket.

3. tipp Külső integráció

Az automatizált teszteset-végrehajtás jelentősen csökkentheti a tesztmérnökök terheit. Olyan tesztkezelő eszközt kell választania, amely könnyen integrálható automatizálási eszközökKeresse a tesztszkriptek kezelésének, valamint a tesztek ütemezésének és indításának lehetőségét mind helyben, mind a távoli gépen. Előnyös továbbá az automatizált teszteredmények tesztkezelő eszközben való tárolásának lehetősége is. A tesztkezelő eszközének támogatnia kell a következőket: folyamatos integráció. A CI-vel ellátott tesztkezelő eszköz fő előnye, hogy a tesztek automatikusan elindulnak. Az indítást bármi kiválthatja, például egy fejlesztőtől származó forráskód-commit, vagy egy teszteset mögöttes tesztautomatizálással vagy egy meghatározott időre ütemezett feladat. A folyamatos integráció időben, részletességben, irányban és részletességben különbözik.

Bármely minőségbiztosítási csapat számára az integráció bogár trackirályszerszám Nagyon egyszerűvé teszi a tesztelési folyamatot. Egy szabványos tesztkezelő eszköz, amely zökkenőmentesen integrálható az SDLC alkalmazással vagy más hibajavító szoftverrel. tracA JIRA, a BugZilla és a Mantishoz hasonló királyi eszközök további értéket képviselnek. Lehetővé kell tenniük a felhasználók számára a hibák összekapcsolását a tesztesetek futtatásával, a szoftvertesztelési folyamat központosított kezeléséhez. Emellett lehetővé kell tenniük a teljes projektcsapat számára, hogy egyszerre dolgozzon együtt egyetlen problémán.

Az Ön integrációja támogató asztali rendszer egy fontos funkció, amelyet minden tesztmenedzsment eszköznek biztosítania kell. Egy támogató szolgálati szoftver, vagy más néven ticketrendszer segít a felhasználóknak azonnali megoldást találni a problémájukra. Segít az ügyfeleknek áttekintést kapni az összes nyitott és lezárt problémáról.

API Az egyéni integrációk támogatása kívánatos.

4. tipp Mobil

A Tesztkezelő eszköznek támogatnia kell a mobileszközöket és a táblagépet.

A mobil támogatás rendkívül hasznos azoknak a csapatoknak, akik az ügyfél helyén vannak, nem az asztalnál, vagy a menedzserek számára, akik különböző földrajzi helyeken lévő csapatokkal dolgoznak.

A tesztkezelő eszköznek teljes (nem csökkentett) funkciókészlettel kell rendelkeznie mobileszközön.

A több eszköz és a mobil operációs rendszer támogatása fontos, mivel az eszközök számának növekedésével egyre bonyolultabbak a helyzet, például a helymeghatározás, a gesztusok, a gyorsulásmérők és a tájékozódási problémák. Végtére is, soha nem vásárol telefont úgy, hogy az kompatibilis a tesztkezelő eszközzel!

5. tipp Támogatás

A tesztmenedzsment eszköz gyártójának támogató csapatának elkötelezettnek kell lennie az ügyfelek minden lehetséges módon történő segítése iránt. Sok tesztmenedzsment eszköz inkább a csillogó weboldalak és hirdetések létrehozására összpontosít.tractöbb ügyfelet. De a folyamatos és ismétlődő üzletmenet érdekében a legjobb ügyfélszolgálati támogatás nyújtására kell összpontosítaniuk.

A legjobb tesztkezelő eszköznek olyan funkciókkal kell rendelkeznie, mint élő csevegés, telefonhívás, GYIK és online felhasználói útmutatók, termékdokumentációs információk, tudásbázis, help desk jegy megszerzése, stb., hogy segítsenek ügyfeleiknek.

Számos tesztkezelő eszköz is megkönnyíti élő videokonferencia eszközszakértőkkel az ügyfelek kérdéseinek megoldása érdekében. Ha az élő konferencia nem megvalósítható, akkor a tesztmenedzsment eszközzel kapcsolatos demóknak vagy rögzített videóknak mindig elérhetőnek kell lenniük a helyszínen, és bármikor megtekinthetőknek. A fejlesztők számára, ha az eszköz API-t vagy egyedi integrációs támogatást nyújt, demó szkriptet és részletes dokumentációt kell biztosítani.

Bár előfordulhat, hogy a fenti támogatási csatornák mindegyike nem érhető el minden eszközhöz, olyan eszközt kell választania, amely biztosítjaelőnyben részesített” támogatási csatorna.

Egy másik fontos és gyakran elfelejtett paraméter, hogy a szerszám szállítója az Vevő központú? Íme néhány dolog, amit figyelembe kell venni a tesztkezelő eszköz kiválasztásakor:

• Az eszköz felületének felhasználóbarátnak kell lennie, és tartalmaznia kell az ügyfélintegrációs funkciót
• Több nyelvet és több időzónát is alkalmazhat
• Speciális keresési képességgel kell rendelkeznie

Reméljük, hogy ez az útmutató segít a tesztelési igényeinek leginkább megfelelő eszköz kiválasztásában! Alkalmazása életciklusának átfogóbb kezeléséhez érdemes lehet ezeket megvizsgálni ALM eszközök.

GYIK