Как да избера най-добрия инструмент за тестване на автоматизация?

В статията Подобряване на тестовия процес, научихте точките за подобрение от проекта Guru99 Банка. Тя използва автоматизирани Тестване вместо Ръчно тестване. Но членовете на екипа може да ви попитат –

Отговорът на този въпрос е предизвикателство, защото трябва да се вземат предвид много фактори

• Искате да подкрепите вашите тестови дейности чрез софтуерен инструмент, но не знаете инструменти, налични в момента на пазара
• Кой тип инструмент ще отговаря най-добре на изискванията и бюджета на проекта?
• Кой от екипа има уменията да използва инструмента, след като сте го закупили

Значението на избора на инструмент за тестване на софтуер

Успехът при всяка автоматизация на теста зависи от идентифицирането на правилния инструмент за автоматизация. Избирането на „правилния“ инструмент за тестване за вашия проект е един от най-добрите начини за постигане на целта на проекта. Следващият пример ще ви покаже ползата от избора на инструмент за тестване

В проекта Guru99 Bank, за да спести усилията за тестване, екипът на проекта реши да използва автоматизиран инструмент за тестване. След много срещи вашият екип избра подходящ инструмент за проекта.

Един месец по-късно получихте доклада от екипа на проекта за този инструмент

Резултатите са страхотни. Новият автоматизиран инструмент удвои производителността на тестването. Това означава, че сме спасили 50% разходи за изпълнение на теста. Ако се интересувате от проучване на повече опции за вашите проекти, вижте този списък с инструменти за автоматизирано тестване.

Това е пример за ползата от използването на инструмента за тестване в проекта. Избирането на правилния инструмент за тестване ви помага да подобрите производителността на проекта и да спестите разходи по проекта.

Тип тестови инструменти

Има много видове тестови инструменти, които Test Manager може да вземе предвид при избора на тестови инструменти.

Инструменти с отворен код

Инструментите с отворен код са програмата, в която е изходният код открито публикуван за използване и/или модификация от оригиналния си дизайн, безплатно.

Инструментите с отворен код са достъпни за почти всяка фаза от процеса на тестване, от Тестов случай управление на дефект tracкрал. В сравнение с търговските инструменти, инструментите с отворен код може да имат по-малко функции.

Търговски инструменти

Търговските инструменти са софтуерът, който се произвежда за продажба или за да служи за търговски цели.

Търговските инструменти имат повече поддръжка и повече функции от доставчика, отколкото инструментите с отворен код.

Персонализирани инструменти

В някои проекти за тестване средата за тестване и процесът на тестване имат специални характеристики. Нито един инструмент с отворен код или търговски инструмент не може да изпълни изискването. Следователно Мениджърът на тестовете трябва да обмисли разработването на персонализирания инструмент.

Пример: Искате да намерите инструмент за тестване за проекта Guru99 Банка. Искате този инструмент да отговаря на някакво специфично изискване на проекта.

Анализ на осъществимостта на автоматизацията

Обратно към горния пример, екипът на проекта реши да разработи персонализиран инструмент, който може да отговори на изискванията на проекта. Да предположим, че са им дадени 100 тестови случая за автоматизиране и са изчислили 5 дни за разработване на инструмент, който може да автоматизира all от тези тестови случаи.

Ето резултата от тяхната работа

Както в горния сценарий, проблемът е, че инструментът за тестване не може да автоматизира всички тестови случаи на тестова спецификация. Това означава, че не всички функциите на приложението могат да бъдат старателно тествани с помощта на инструмента за тестване.

Ако функционалността на тестваното приложение променя се често или е също сложен, е трудно да се създаде тестова автоматизация за all функциите на приложението, защото всеки инструмент има свои собствени ограничения.

Ако не искате да бъдете в такава ситуация, преди да изберете инструмента за тестване, трябва да анализирате тестовите случаи и да решите кои тестови случаи трябва да бъдат автоматизирани и кои не. Това е Анализ на осъществимостта на автоматизацията дейност.

Анализът на осъществимостта на автоматизацията е много важен фактор в тестването. В този анализ трябва да проверите дали тестваното приложение е компетентен за автоматизиран тест.

Някои фактори, които трябва да имате предвид:

За да научите повече за тези фактори, можете да използвате a списък който е включен в тази статия

Как да изберете най-добрия инструмент за тестване на автоматизация

За да избере най-подходящия инструмент за тестване за проекта, мениджърът на тестовете трябва да следва процеса на избор на инструменти по-долу

Стъпка 1) Определете изискването за инструменти

Как можете да изберете инструмент за тестване, ако не знаете какво търсите?

Вие трябва точно да идентифицирате вашите изисквания за инструмент за тестване. Всички изисквания трябва да бъдат документирано намлява преразглеждат от проектните екипи и управителния съвет.

Помислете за следния пример:

Стъпка 2) Оценете инструментите и доставчиците

След определяне на изискванията на инструмента, Мениджърът на тестовете трябва

• Анализирайте търговските инструменти и инструментите с отворен код, които се предлагат на пазара, въз основа на изискването на проекта.
• Създаване на кратък списък с инструменти който най-добре отговаря на вашите критерии
• Един фактор, който трябва да имате предвид, е доставчици. Трябва да имате предвид репутацията на доставчика, поддръжката след продажбата, честотата на актуализиране на инструмента и т.н., докато вземате решението си.
• Оценете качеството на инструмента, като вземете пробна употреба и стартиране на пилотен проект. Много доставчици често правят пробни версии на своя софтуер достъпни за изтегляне

Стъпка 3) Оценка на разходите и ползите

За да гарантира, че инструментът за тестване е полезен за бизнеса, Мениджърът на тестовете трябва баланс следните фактори:

A анализ на разходите и ползите трябва да се извърши преди придобиването или изграждането на инструмент

Пример: След като отделиха значително време за проучване на инструменти за тестване, екипът на проекта откри идеалния инструмент за тестване за проекта. Guru99 Уебсайт на банката. Резултатите от оценката заключиха, че този инструмент може

• Double текущата производителност на изпълнение на теста
• Намалете управленските усилия с 30%

Въпреки това, след обсъждане с доставчика на софтуера, вие открихте, че цена на този инструмент е твърде висока в сравнение с стойност намлява се възползват които може да донесе на екипната работа.

В такъв случай баланс между цена и полза от инструмента може да повлияе на крайното решение.

Стъпка 4) Вземете окончателното решение

За да вземе окончателното решение, ръководителят на тестовете трябва да притежава:

• Има силно осъзнаване на инструмента. Това означава, че трябва да разберете кое е силен точки и слаб точки на инструмента
• Баланс разходи и ползи.

Дори с часове, прекарани в четене на ръководството за софтуера и информацията за доставчика, все пак може да се наложи да изпробвате инструмента в реалната си работна среда, преди да купите лиценза.

Трябва да имате среща с екипа на проекта, консултанти, за да получите по-задълбочени познания за инструмента.

Вашето решение може да повлияе неблагоприятно на проекта, процеса на тестване и бизнес целите; трябва да отделите достатъчно време, за да помислите добре за това.

Неща, които трябва да имате предвид, докато избирате инструмент за управление на тестове

С широката гама от налични опции е лесно да се объркате, докато пазаруватеping за инструмент за управление на тестове. Това е безпристрастно ръководство, което ще ви помогне да изберете най-добрия инструмент според вашите нужди

В това ръководство ще ви предоставя 5 най-важни, но често пренебрегвани параметъра, докато избирате вашия инструмент за управление на тестове. Но преди да започна, позволете ми да повторя -

Не сравнявайте ябълка и портокал

Няма смисъл да сравнявате SaaS инструмент за $30 на месец с пълен комерсиален инструмент за $6000, когато бюджетът ви не го позволява. Важно е да филтрирате инструмента си със списък, базиран на БЮДЖЕТ първи. Ако има бюджет, с отворен код е добър вариант. Въпреки че търговските инструменти са скъпи, те предлагат страхотна поддръжка и са лесни за използване с много предоставени материали за обучение.

Следващото нещо, което трябва да изчислите, е цената на вашия лиценз. За целта трябва да прецените продължителността за завършване на теста и какъв метод да изберете за тестване, това ще ви помогне да разберете кой модел би се вместил във вашия бюджет, например дали искате да платите като на регистриран потребител, едновременен потребител или постоянен потребител. Обикновено постоянните или еднократните разходи са по-високи поради капиталовите разходи. За определен софтуер се нуждаете от лиценз за време на изпълнение. Не всички доставчици поддържат лицензи за време на изпълнение, така че трябва да вземете предвид разходите за лиценз за време на изпълнение също, ако мислите да инсталирате в различни машини.

След като сте дестилирали избора си въз основа на бюджета, ето 5 много важни параметъра за сравнение на вашите инструменти за управление на тестове -

Съвет #1 Инструментът за управление на тестове трябва да подобри производителността

Екипите за тестване са изправени пред сериозни предизвикателства, за да бъдат в крак с бързите технологични промени и необходимостта от тестване на множество платформи (както браузъри, така и устройства). Тъй като ръчното тестване заема по-голямата част от времето за тестване, един от начините за справяне с това предизвикателство е да се засили автоматизацията. Но има и други области за подобряване на ефективността на инструмента, който включва ефективно управление на тестова лаборатория/данни, управление на версиите, проницателно отчитане и други. ChoIt намирането на правилния инструмент за управление на тестове може значително да помогне за подобряването на тези параметри.

Нека да разгледаме какво се изисква от инструмента за управление на тестове от гледна точка на производителността -

Подробност на тестовата информация

Инструментът за управление на тестовете трябва да включва подробни информационни доклади, свързани с процеса на тестване. Например, при неуспешен тестов случай винаги е полезно да знаете на коя стъпка тестът е неуспешен, вместо да знаете, че тестовият случай е неуспешен като цяло. Каквито и незначителни промени да са приложени по време на тестването, инструментът за управление на тестове трябва да информира за промените съответните членове на екипа. За лесно проследяване и бързи действия трябва също така да поддържа одитна пътека за промените, включително пълна версия на тестови случаи. Освен това инструментът за управление на теста трябва да запазва резултатите от теста като сесия и трябва да има възможност за сравняване на резултатите от теста. Другите функции, които се очакват от стандартните инструменти за управление на тестове, са документиране на стратегия за тестване, планиране на изпълнение на тест, създаване на дефекти, свързване на истории, и т.н. Функция за качване на видео и API поддръжка биха били черешката на тортата.

Управление на издаване Tracking (DevOps)

Софтуерните версии са сложни с множество дейности (като tracкралят на версията за изграждане, координацията на екипа и прозрачността на изданията) всичко това се случва едновременно. Добрият инструмент за управление на тестовете трябва да има стабилно управление на изданията. tracкралска способност, която поддържа списъка със софтуера, който се тества и пуска, така че да не се нарушава конфликтът му с други тестови артефакти. Също така, тя трябва да може да управлява всички артефакти на проекта в една среда.

Инструментът за управление на тестовете трябва да предоставя единен поглед върху изискванията за всички заинтересовани страни. Сътрудничеството със заинтересованите страни гарантира, че са отчетени правилните изисквания. Инструментът трябва да може да tracд. връзките между други активи за развитие и изисквания.

За разпределени екипи, той трябва да осигури единно споделено хранилище за сътрудничество и споделяне на изисквания, оценка на свързаните дефекти и разбиране на връзката им с тестовете.

За качество и последователност вашият инструмент за управление на тестове трябва да налага стандартизация.

Докладване

Това е хаос, ако вашият тестващ екип знае колко дефекта са открити в изданието, но не знае колко време ще отнеме, за да го разреши. За да наблюдават тестовите дейности, тестовите инженери силно зависят от отчетите, генерирани от инструмента за управление на тестове. Надежден инструмент за управление на тестове трябва да предоставя следната информация в своите отчети като напредък на плана за тестване, статус на авторство на тестов случай, тестов случай неуспешен и преминат, тестов статус по пакети, тестов статус по област, тестов случай, който ще бъде автоматизиран, и т.н.

Вашият инструмент за управление на тестове трябва да позволява пълна видимост на дейността на разработчиците и процесите на жизнения цикъл от управление на изискванията до тестване и коригиране на дефекти.

Един добър инструмент за управление на тестове трябва да включва следните атрибути

• Графиката и таблото за управление трябва да дават представа за това колко от вашите автоматизирани тестове са се изпълнявали или очакват изпълнение
• Трябва да подчертае общите атрибути на теста, като броя на преминатите/неуспешните/пропуснатите тестови случаи, натоварване на потребителя и т.н.
• Вземете решение за готовността на всяко издание
• Вижте своите автоматизирани тестове заедно с резултатите от ръчни тестове

Съвет #2 Поддръжка на гъвкавост

Търсенето на гъвкавост на текущия пазар се увеличава и става все по-голямо с всеки изминал ден. Важно е вашият инструмент за управление на тестове да поддържа гъвкавата методология. В Agile изискванията са променливи и се допълват постепенно, вашият инструмент за управление на тестове трябва да може да поеме такива изисквания. Инструментът за гъвкаво управление на тестове по ваш избор трябва да насърчава дълбоко партньорство между разработчици, тестери и други заинтересовани страни (основен принцип на гъвкавия).

Инструментът за управление на Agile тестове трябва да поддържа

• Създаване на истории
• оценяване
• Sprint планиране на изоставане
• Диаграми на скоростта и други отчети и др.
• Скръм и Канбан

Докато сте в Agile среда, сравнението на тестове чрез инструмент за управление на тестове би било продуктивно, ако разглеждате промените в нивата на дефекти на итерация. Също така за Agile инструментът за управление на тестове ще трябва да поддържа запис на пускането на продукта за всяка итерация и изоставане

Съвет #3 Външна интеграция

Автоматизираното изпълнение на тестов случай може да намали много тежестта от тестовите инженери. Трябва да изберете инструмент за управление на тестове, който лесно се интегрира с инструменти за автоматизация. Потърсете възможността да управлявате тестови скриптове, както и да планирате и стартирате тест както локално, така и на отдалечения хост. Също така е желателно да се съхраняват резултатите от тестовете за автоматизация в инструмента за управление на тестовете. Вашият инструмент за управление на тестове трябва да поддържа непрекъсната интеграция. Основното предимство на инструмента за управление на тестове с CI е, че тестовете се стартират автоматично. Стартирането може да бъде задействано от нещо като ангажимент на изходния код от разработчик или тестов случай с основна автоматизация на теста или планирана задача за определено време. Непрекъснатата интеграция се различава по време, детайлност, посока и детайлност.

За всеки QA екип, интеграция на буболечка tracкралски инструмент прави процеса им на тестване много лесен. Стандартен инструмент за управление на тестове, който се интегрира безпроблемно с SDLC приложение или друг бъг. tracКоролевски инструменти като JIRA, BugZilla, Mantis добавят повече стойност към инструмента. Той би трябвало да позволява на потребителите да свързват грешки, да тестват случаи, изпълняващи инстанции, за централизирано управление на процеса на тестване на софтуер. Също така би трябвало да позволява на целия екип на проекта да работи заедно по един проблем едновременно.

Интеграцията на вашия система за поддръжка е важна функция, която всеки инструмент за управление на тестове трябва да предоставя. Софтуерът на бюрото за поддръжка или по друг начин известен като тикет система помага на потребителите да получат незабавно решение на проблема си. Помага на клиентите да получат преглед на всички отворени и затворени проблеми.

API Поддръжката за потребителски интеграции е желателна.

Съвет #4 Мобилен

Вашият инструмент за управление на тестове трябва да поддържа мобилни устройства и таблет.

Мобилната поддръжка е изключително полезна за екипи, които са на мястото на клиента, а не на бюрото, или за мениджъри, работещи с екипи на различни географски местоположения.

Инструментът за управление на тестове трябва да има пълен (не намален) набор от функции, наличен на мобилни устройства.

Поддръжката за множество устройства и мобилни операционни системи е важна, тъй като с увеличаването на броя на устройствата има повече сложности като местоположение, жестове, акселерометри и проблеми с ориентацията. В крайна сметка никога не купувате телефон, мислейки, че е съвместим с вашия инструмент за управление на тестове!

Съвет # 5 Поддръжка

Екипът за поддръжка на доставчика на инструменти за управление на тестове трябва да е ангажиран да помага на своите клиенти по всички възможни начини. Много инструменти за управление на тестове са по-фокусирани върху създаването на лъскави уебсайтове и реклами за...tracповече клиенти. Но за непрекъснат и повтарящ се бизнес, те трябва да се съсредоточат върху предоставянето на най-добрата поддръжка от бюрото за помощ.

Най-добрият инструмент за управление на тестове трябва да има функции като чат на живо, телефонно обаждане, често задавани въпроси и онлайн ръководства за потребителя, информация за продуктовата документация, база от знания, повдигане на билет за бюро за помощ, и т.н., за да помогнат на своите клиенти.

Много инструменти за управление на тестове също улесняват видеоконференция на живо с експерти по инструменти за решаване на заявки на клиенти. Ако конференцията на живо не е осъществима, тогава демонстрациите или записаните видеоклипове, свързани с инструмента за управление на тестове, трябва винаги да са налични на място и да могат да бъдат достъпни по всяко време. Докато за разработчиците, ако инструментът предоставя API или поддръжка за персонализирана интеграция, трябва да се предостави демонстрационен скрипт и подробна документация.

Въпреки че всички горепосочени канали за поддръжка може да не са достъпни за всички инструменти, трябва да изберете инструмент, който предоставя вашите „предпочитан” канал за поддръжка.

Още един важен и често забравян параметър е дали доставчикът на инструмента е такъв Фокусирани върху клиентите? Ето няколко неща, които трябва да вземете предвид, докато избирате своя инструмент за управление на тестове -

• Интерфейсът на инструмента трябва да е удобен за потребителя и да включва функция за интегриране на клиента
• Той трябва да включва множество езици и множество часови зони
• Трябва да има възможност за разширено търсене

Надяваме се това ръководство да ви помогне при избора на инструмент, който най-добре отговаря на вашите нужди за тестване! За по-всеобхватно управление на жизнения цикъл на вашето приложение може да искате да ги проучите ALM инструменти.