Как да избера най-добрия инструмент за тестване на автоматизация?

В статията Подобряване на тестовия процес, научихте точките за подобрение от проекта Guru99 Банка. Тя използва автоматизирани Тестване вместо Ръчно тестване. Но членовете на екипа може да ви попитат –

Отговорът на този въпрос е предизвикателство, защото трябва да се вземат предвид много фактори

• Искате да подкрепите вашите тестови дейности чрез софтуерен инструмент, но не знаете инструменти, налични в момента на пазара
• Кой тип инструмент ще отговаря най-добре на изискванията и бюджета на проекта?
• Кой от екипа има уменията да използва инструмента, след като сте го закупили

Значението на избора на инструмент за тестване на софтуер

Успехът при всяка автоматизация на теста зависи от идентифицирането на правилния инструмент за автоматизация. Избирането на „правилния“ инструмент за тестване за вашия проект е един от най-добрите начини за постигане на целта на проекта. Следващият пример ще ви покаже ползата от избора на инструмент за тестване

В проекта Guru99 Bank, за да спести усилията за тестване, екипът на проекта реши да използва автоматизиран инструмент за тестване. След много срещи вашият екип избра подходящ инструмент за проекта.

Един месец по-късно получихте доклада от екипа на проекта за този инструмент

Резултатите са страхотни. Новият автоматизиран инструмент удвои производителността на тестването. Това означава, че сме спасили 50% разходи за изпълнение на теста. Ако се интересувате от проучване на повече опции за вашите проекти, вижте този списък с инструменти за автоматизирано тестване.

Това е пример за ползата от използването на инструмента за тестване в проекта. Изборът на правилния инструмент за тестване ви помага да подобрите производителността на проекта и да спестите разходи по проекта.

Тип тестови инструменти

Има много видове инструменти за тестване, които мениджърът на тестове може да вземе предвид при избора си.

Инструменти с отворен код

Инструментите с отворен код са програмата, в която е изходният код открито публикуван за използване и/или модификация от оригиналния си дизайн, безплатно.

Инструментите с отворен код са достъпни за почти всяка фаза от процеса на тестване, от Тестов случай управление на дефект tracкрал. В сравнение с търговските инструменти, инструментите с отворен код може да имат по-малко функции.

Търговски инструменти

Търговските инструменти са софтуерът, който се произвежда за продажба или за да служи за търговски цели.

Търговските инструменти имат повече поддръжка и повече функции от доставчика, отколкото инструментите с отворен код.

Персонализирани инструменти

В някои тестови проекти, тестовата среда и процесът на тестване имат специални характеристики. Никой инструмент с отворен код или търговски инструмент не може да отговори на изискванията. Следователно, мениджърът на тестването трябва да обмисли разработването на персонализиран инструмент.

Пример: Искате да намерите инструмент за тестване за проекта Guru99 Банка. Искате този инструмент да отговаря на някакво специфично изискване на проекта.

Към коя категория се насочвате, следващият въпрос е дали вашите тестове са подходящи за автоматизация изобщо.

Анализ на осъществимостта на автоматизацията

Обратно към горния пример, екипът на проекта реши да разработи персонализиран инструмент, който може да отговори на изискванията на проекта. Да предположим, че са им дадени 100 тестови случая за автоматизиране и са изчислили 5 дни за разработване на инструмент, който може да автоматизира all от тези тестови случаи.

Ето резултата от тяхната работа

Както в горния сценарий, проблемът е, че инструментът за тестване не може да автоматизира всички тестови случаи на тестова спецификация. Това означава, че не всички функциите на приложението могат да бъдат старателно тествани с помощта на инструмента за тестване.

Ако функционалността на тестваното приложение променя се често или е също сложен, е трудно да се създаде тестова автоматизация за all функциите на приложението, защото всеки инструмент има свои собствени ограничения.

Ако не искате да бъдете в такава ситуация, преди да изберете инструмента за тестване, трябва да анализирате тестовите случаи и да решите кои тестови случаи трябва да бъдат автоматизирани и кои не. Това е Анализ на осъществимостта на автоматизацията дейност.

Анализът на осъществимостта на автоматизацията е много важен фактор в тестването. В този анализ трябва да проверите дали тестваното приложение е компетентен за автоматизиран тест.

Някои фактори, които трябва да имате предвид:

За да научите повече за тези фактори, можете да използвате a списък който е включен в тази статия

Как да изберете най-добрия инструмент за тестване на автоматизация

За да избере най-подходящия инструмент за тестване за проекта, мениджърът на тестовете трябва да следва процеса на избор на инструменти по-долу

Стъпка 1) Определете изискването за инструменти

Как можете да изберете инструмент за тестване, ако не знаете какво търсите?

Трябва точно да определите изискванията към вашия тестов инструмент. Всички изисквания трябва да бъдат документирано намлява преразглеждат от проектните екипи и управителния съвет.

Помислете за следния пример:

Стъпка 2) Оценете инструментите и доставчиците

След определяне на изискванията на инструмента, Мениджърът на тестовете трябва

• Анализирайте търговските инструменти и инструментите с отворен код, които се предлагат на пазара, въз основа на изискването на проекта.
• Създаване на кратък списък с инструменти който най-добре отговаря на вашите критерии
• Един фактор, който трябва да имате предвид, е доставчици. Трябва да имате предвид репутацията на доставчика, поддръжката след продажбата, честотата на актуализиране на инструмента и т.н., докато вземате решението си.
• Оценете качеството на инструмента, като вземете пробна употреба и стартиране на пилотен проект. Много доставчици често правят пробни версии на своя софтуер достъпни за изтегляне

Стъпка 3) Оценка на разходите и ползите

За да се гарантира, че инструментът за тестване е полезен за бизнеса, мениджърът на тестването трябва баланс следните фактори:

A анализ на разходите и ползите трябва да се извърши преди придобиването или изграждането на инструмент

Пример: След като отделиха значително време за проучване на инструменти за тестване, екипът на проекта откри идеалния инструмент за тестване за проекта. Guru99 Уебсайт на банката. Резултатите от оценката заключиха, че този инструмент може

• Double текущата производителност на изпълнение на теста
• Намалете управленските усилия с 30%

Въпреки това, след обсъждане с доставчика на софтуера, вие открихте, че цена на този инструмент е твърде висок в сравнение с стойност намлява се възползват които може да донесе на екипната работа.

В такъв случай баланс Разликата между цената и ползата от инструмента може да повлияе на крайното решение.

Стъпка 4) Вземете окончателното решение

За да вземе окончателното решение, ръководителят на тестовете трябва да притежава:

• Има силно осъзнаване на инструмента. Това означава, че трябва да разберете кое е силен точки и слаб точки на инструмента
• Баланс разходи и ползи.

Дори с часове, прекарани в четене на ръководството за софтуера и информацията за доставчика, все пак може да се наложи да изпробвате инструмента в реалната си работна среда, преди да купите лиценза.

Трябва да имате среща с екипа на проекта, консултанти, за да получите по-задълбочени познания за инструмента.

Вашето решение може да повлияе неблагоприятно на проекта, процеса на тестване и бизнес целите; трябва да отделите достатъчно време, за да помислите добре за това.

Стъпка 3 ви моли да балансирате разходите и ползите. Изчислението по-долу превръща тази преценка в число, което можете да представите.

Как да изчислим възвръщаемостта на инвестициите в автоматизирано тестване

Дискусията за разходите и ползите обикновено се застоява, защото всяка страна спори, основавайки се на мнение. Една проста цифра за възвръщаемост на инвестициите насочва разговора към доказателства и повечето управителни съвети очакват да видят такава, преди да одобрят покупка на инструмент.

Основното сравнение е цената на ръчното изпълнение на тестовете спрямо общата цена на автоматизирането им.

// Cost of one manual test cycle
Manual cost per cycle = Hours per cycle x Hourly rate

// One-off and recurring cost of automating
Automation cost = Tool licence + Script development + (Maintenance x Cycles)

// Return on investment across N cycles
ROI = ((Manual cost per cycle x N) - Automation cost) / Automation cost

Четири входа решават дали числото ще излезе положително.

• Честота на изпълнение: Автоматизацията се изплаща само чрез повторение. Едно изпълнение на пакет всяка вечер достига точка на рентабилност много по-рано, отколкото едно изпълнение веднъж на пускане.
• Поддръжка на скриптове: Това е цената, която повечето екипи забравят. Нестабилният интерфейс може да изразходва повече часове за поддръжка, отколкото ръчното изпълнение, което е заменил, което е точно ситуацията, която горният анализ на осъществимостта има за цел да обхване.
• Модел на лиценз: За едновременен потребител, за поименен потребител и еднократни постоянни лицензи се получават много различни общи стойности за три години. Моделирайте периода, през който действително възнамерявате да запазите инструмента.
• Предимства, които не са часове: По-бързата обратна връзка, по-рано откритите дефекти и освободените за проучвателна работа тестери носят реална стойност. Посочете ги заедно с фигурата, вместо да се опитвате да ги насилвате да ги включите в нея.

💡 Съвет: Изчислете точката на рентабилност, която е броят цикли, при които разходите за автоматизация са равни на разходите за ръчна обработка. Ако точката на рентабилност падне след жизнения цикъл на изданието, автоматизирането на този пакет не си струва, но вtracкак изглежда инструментът.

Неща, които трябва да имате предвид, докато избирате инструмент за управление на тестове

С широката гама от налични опции е лесно да се объркате, докато пазаруватеping за инструмент за управление на тестове. Това е безпристрастно ръководство, което ще ви помогне да изберете най-добрия инструмент според вашите нужди

В това ръководство ще ви предоставя 5 най-важни, но често пренебрегвани параметъра, докато избирате вашия инструмент за управление на тестове. Но преди да започна, позволете ми да повторя -

Не сравнявайте ябълка и портокал

Няма смисъл да сравнявате SaaS инструмент за $30 на месец с пълен комерсиален инструмент за $6000, когато бюджетът ви не го позволява. Важно е да филтрирате инструмента си със списък, базиран на БЮДЖЕТ първи. Ако има бюджет, с отворен код е добър вариант. Въпреки че търговските инструменти са скъпи, те предлагат отлична поддръжка и са лесни за използване, като са предоставени много обучителни материали.

Следващото нещо, което трябва да изчислите, е цената на вашия лиценз. За целта трябва да прецените продължителността за завършване на теста и какъв метод да изберете за тестване, това ще ви помогне да разберете кой модел би се вместил във вашия бюджет, например дали искате да платите като на регистриран потребител, едновременен потребител или постоянен потребителОбикновено постоянните или еднократните разходи са по-високи поради капиталовите разходи. За определен софтуер е необходим лиценз за изпълнение. Не всички доставчици поддържат лицензи за изпълнение, така че трябва да вземете предвид и цената на лиценза за изпълнение, ако обмисляте инсталиране на различни машини.

След като сте дестилирали избора си въз основа на бюджета, ето 5 много важни параметъра за сравнение на вашите инструменти за управление на тестове -

Съвет #1 Инструментът за управление на тестове трябва да подобри производителността

Екипите за тестване са изправени пред сериозни предизвикателства, за да са в крак с бързите технологични промени и необходимостта от тестване на множество платформи (както браузъри, така и устройства). Тъй като ръчното тестване заема по-голямата част от времето за тестване, един от начините за справяне с това предизвикателство е чрез засилване на автоматизацията. Но има и други области за подобряване на ефективността на инструмента, които включват ефективно управление на тестова лаборатория/данни, управление на изданията, задълбочено отчитане, наред с други. Изборът на правилния инструмент за управление на тестовете може изключително много да помогне за подобряване на тези параметри.

Нека да разгледаме какво се изисква от инструмента за управление на тестове от гледна точка на производителността -

Подробност на тестовата информация

Инструментът за управление на тестовете трябва да включва подробни информационни отчети, свързани с процеса на тестване. Например, при неуспешен тестов случай, винаги е полезно да се знае на коя стъпка тестът е неуспешен, вместо да се знае, че тестовият случай е неуспешен като цяло. Каквито и малки промени да са направени по време на тестването, инструментът за управление на тестовете трябва да информира съответните членове на екипа за промените. За лесно проследяване и бързи действия, той трябва да поддържа и одитна следа от промените, включително пълно версиране на тестовите случаи. Също така, инструментът за управление на тестовете трябва да запазва резултатите от теста като сесия и трябва да има възможност за сравняване на резултатите от тестовото изпълнение. Другите функции, които се очакват от стандартния инструмент за управление на тестовете, са документиране на стратегия за тестване, планиране на изпълнение на тест, създаване на дефекти, свързване на истории, и т.н. Функция за качване на видео и API поддръжка биха били черешката на тортата.

Управление на издаване Tracking (DevOps)

Софтуерните версии са сложни с множество дейности (като tracкралят на версията за изграждане, координацията на екипа и прозрачността на изданията) всичко това се случва едновременно. Добрият инструмент за управление на тестовете трябва да има стабилно управление на изданията. tracкралска способност, която поддържа списъка със софтуера, който се тества и пуска, така че да не конфликтира с други тестови артефакти. Също така, тя трябва да може да управлява всички артефакти на проекта в една среда.

Инструментът за управление на тестовете трябва да предоставя единен поглед върху изискванията за всички заинтересовани страни. Сътрудничеството със заинтересованите страни гарантира, че са отчетени правилните изисквания. Инструментът трябва да може да tracд. връзките между други активи за развитие и изисквания.

За разпределени екипи, той трябва да осигури единно споделено хранилище за сътрудничество и споделяне на изисквания, оценка на свързаните дефекти и разбиране на връзката им с тестовете.

За качество и последователност вашият инструмент за управление на тестове трябва да налага стандартизация.

Докладване

Пълен хаос е, ако екипът ви за тестване знае колко дефекта са открити в изданието, но не знае колко време ще отнеме разрешаването им. За да наблюдават тестовите дейности, тестовите инженери силно зависят от отчетите, генерирани от инструмента за управление на тестовете. Надеждният инструмент за управление на тестовете трябва да предоставя следната информация в своите отчети, като например напредък на плана за тестване, статус на авторство на тестов случай, тестов случай неуспешен и преминат, тестов статус по пакети, тестов статус по област, тестов случай, който ще бъде автоматизиран, и т.н.

Вашият инструмент за управление на тестове трябва да позволява пълна видимост на дейността на разработчиците и процесите на жизнения цикъл от управление на изискванията до тестване и коригиране на дефекти.

Един добър инструмент за управление на тестове трябва да включва следните атрибути

• Графиката и таблото за управление трябва да дават представа за това колко от вашите автоматизирани тестове са се изпълнявали или очакват изпълнение
• Трябва да подчертае общите атрибути на теста, като броя на преминатите/неуспешните/пропуснатите тестови случаи, натоварване на потребителя и т.н.
• Вземете решение за готовността на всяко издание
• Вижте своите автоматизирани тестове заедно с резултатите от ръчни тестове

Съвет #2 Поддръжка на гъвкавост

Търсенето на agile на пазара се увеличава и става все по-голямо с всеки изминал ден. Важно е вашият инструмент за управление на тестовете да поддържа agile методологията. В Agile изискванията са променливи и се изпълняват постепенно, вашият инструмент за управление на тестовете трябва да може да отговори на тези изисквания. Избраният от вас инструмент за agile управление на тестовете трябва да насърчава дълбоко партньорство между разработчици, тестери и други заинтересовани страни (основен принцип на agile).

Инструментът за управление на Agile тестове трябва да поддържа

• Създаване на истории
• оценяване
• Sprint планиране на изоставане
• Диаграми на скоростта и други отчети и др.
• Скръм и Канбан

В Agile среда, сравнението на тестовете чрез инструмент за управление на тестове би било продуктивно, ако наблюдавате промените в процента на дефекти на итерация. Също така, за Agile, инструментът за управление на тестовете ще трябва да поддържа записи за пускането на продукта за всяка итерация и натрупаните неизпълнения.

Съвет #3 Външна интеграция

Автоматизираното изпълнение на тестов случай може да намали много тежестта от тестовите инженери. Трябва да изберете инструмент за управление на тестове, който лесно се интегрира с инструменти за автоматизацияТърсете възможност за управление на тестови скриптове, както и за планиране и стартиране на тестове както локално, така и на отдалечен хост. Също така е желателно да имате възможност за съхраняване на резултатите от автоматизирани тестове в инструмента за управление на тестове. Вашият инструмент за управление на тестове трябва да поддържа непрекъсната интеграция. Основното предимство на инструмента за управление на тестове с CI е, че тестовете се стартират автоматично. Стартирането може да бъде задействано от нещо като ангажимент на изходния код от разработчик или тестов случай с основна автоматизация на теста или планирана задача за определено време. Непрекъснатата интеграция се различава по време, детайлност, посока и детайлност.

За всеки QA екип, интеграция на буболечка tracкралски инструмент прави процеса им на тестване много лесен. Стандартен инструмент за управление на тестове, който се интегрира безпроблемно с SDLC приложение или друг бъг. tracКоролевски инструменти като JIRA, BugZilla, Mantis добавят повече стойност към инструмента. Той би трябвало да позволява на потребителите да свързват грешки, да тестват случаи, изпълняващи инстанции, за централизирано управление на процеса на тестване на софтуер. Също така би трябвало да позволява на целия екип на проекта да работи заедно по един проблем едновременно.

Интеграцията на вашия система за поддръжка е важна функция, която всеки инструмент за управление на тестовете трябва да предоставя. Софтуерът за поддръжка или иначе известен като система за заявки помага на потребителите да получат незабавно решение на проблема си. Той помага на клиентите да получат общ преглед на всички отворени и затворени проблеми.

API Поддръжката за потребителски интеграции е желателна.

Съвет #4 Мобилен

Вашият инструмент за управление на тестове трябва да поддържа мобилни устройства и таблет.

Мобилната поддръжка е изключително полезна за екипи, които са на мястото на клиента, а не на бюрото, или за мениджъри, работещи с екипи на различни географски местоположения.

Инструментът за управление на тестове трябва да има пълен (не намален) набор от функции, наличен на мобилни устройства.

Поддръжката за множество устройства и мобилни операционни системи е важна, тъй като с увеличаването на броя на устройствата има повече сложности като местоположение, жестове, акселерометри и проблеми с ориентацията. В крайна сметка никога не купувате телефон, мислейки, че е съвместим с вашия инструмент за управление на тестове!

Съвет # 5 Поддръжка

Екипът за поддръжка на доставчика на инструменти за управление на тестове трябва да е ангажиран да помага на своите клиенти по всички възможни начини. Много инструменти за управление на тестове са по-фокусирани върху създаването на лъскави уебсайтове и реклами за...tracповече клиенти. Но за непрекъснат и повтарящ се бизнес, те трябва да се съсредоточат върху предоставянето на най-добрата поддръжка от бюрото за помощ.

Най-добрият инструмент за управление на тестове трябва да има функции като чат на живо, телефонно обаждане, често задавани въпроси и онлайн ръководства за потребителя, информация за продуктовата документация, база от знания, повдигане на билет за бюро за помощ, и т.н., за да помогнат на своите клиенти.

Много инструменти за управление на тестове също улесняват видеоконференция на живо с експерти по инструменти за решаване на клиентски запитвания. Ако конференцията на живо не е осъществима, тогава демонстрации или записани видеоклипове, свързани с инструмента за управление на тестове, трябва винаги да са налични на място и да са достъпни по всяко време. За разработчиците, ако инструментът предоставя поддръжка за API или персонализирана интеграция, трябва да се предостави демонстрационен скрипт и подробна документация.

Въпреки че всички горепосочени канали за поддръжка може да не са достъпни за всички инструменти, трябва да изберете инструмент, който предоставя вашите „предпочитан” канал за поддръжка.

Още един важен и често забравян параметър е дали доставчикът на инструмента е такъв Фокусирани върху клиентите? Ето няколко неща, които трябва да вземете предвид, докато избирате своя инструмент за управление на тестове -

• Интерфейсът на инструмента трябва да е удобен за потребителя и да включва функция за интегриране на клиента
• Той трябва да включва множество езици и множество часови зони
• Трябва да има възможност за разширено търсене

Надяваме се това ръководство да ви помогне при избора на инструмент, който най-добре отговаря на вашите нужди за тестване! За по-всеобхватно управление на жизнения цикъл на вашето приложение може да искате да ги проучите ALM инструменти.

Въпроси и Отговори