Як вибрати найкращий інструмент тестування автоматизації?

У статті Покращення процесу тестування, ви дізналися про пункти для покращення з проекту Guru99 Банк. Він використовує автоматизовані Тестування замість Ручне тестування. Але члени команди можуть запитати вас –

Відповісти на це питання складно, оскільки необхідно враховувати багато факторів

• Ви хочете підтримувати свою тестову діяльність за допомогою програмного засобу, але ви не знаєте інструментів, доступних на ринку
• Який тип інструменту найкраще відповідатиме вимогам і бюджету проекту?
• Хто в команді має навички використання інструменту після того, як ви його придбали

Важливість вибору інструменту тестування програмного забезпечення

Успіх будь-якої автоматизації тестування залежить від визначення правильного інструменту для автоматизації. Вибір «правильного» інструменту тестування для вашого проекту є одним із найкращих способів досягти мети проекту. Наступний приклад покаже вам переваги вибору інструменту тестування

У проекті Guru99 Банк, щоб заощадити зусилля на тестуванні, команда проекту вирішила використовувати автоматизований інструмент тестування для виконання тестів. Після багатьох зустрічей ваша команда обрала відповідний інструмент для проекту.

Через місяць ви отримали звіт від команди проекту про цей інструмент

Результати чудові. Новий автоматизований інструмент подвоїв продуктивність тестування. Значить, ми врятували 50% вартість виконання тесту. Якщо ви зацікавлені в дослідженні додаткових варіантів для своїх проектів, перегляньте цей список автоматизовані засоби тестування.

Це приклад переваги використання інструменту тестування в проекті. Вибір правильного інструменту тестування допоможе вам підвищити продуктивність проекту та заощадити кошти проекту.

Тип тестових інструментів

Існує багато типів інструментів тестування, які менеджер з тестування може враховувати під час вибору інструментів тестування.

Інструменти з відкритим кодом

Інструменти з відкритим вихідним кодом – це програми, у яких міститься вихідний код відкрито опубліковано для використання та/або модифікації оригінального дизайну, безкоштовно.

Інструменти з відкритим кодом доступні майже для будь-якої фази процесу тестування, починаючи з Тестовий випадок управління до Дефект tracкороль. Порівняно з комерційними інструментами, інструменти з відкритим кодом можуть мати менше функцій.

Комерційні інструменти

Комерційні інструменти — це програмне забезпечення, яке виробляється для продажу або в комерційних цілях.

Комерційні інструменти мають більше підтримки та більше функцій від постачальника, ніж інструменти з відкритим кодом.

Спеціальні інструменти

У деяких тестових проектах тестування середовище тестування та процес тестування мають особливі характеристики. Жоден інструмент з відкритим кодом або комерційний інструмент не може задовольнити ці вимоги. Тому менеджер з тестування повинен розглянути питання розробки власного інструменту.

Приклад: Ви хочете знайти інструмент тестування для проєкту Guru99 Банк. Ви хочете, щоб цей інструмент відповідав певним вимогам проекту.

До якої б категорії ви не схилялися, наступне питання полягає в тому, чи підходять ваші тести для автоматизації взагалі.

Техніко-економічний аналіз автоматизації

Повертаючись до наведеного вище прикладу, команда проекту вирішила розробити спеціальний інструмент, який відповідатиме вимогам проекту. Припустімо, що їм було надано 100 тестових випадків для автоматизації, і вони оцінили 5 днів для розробки інструменту, який може автоматизувати всі тих тестових випадків.

Ось результат їх роботи

Як і в наведеному вище сценарії, проблема полягає в тому, що інструмент тестування не може автоматизувати всі тестові випадки специфікації тесту. Це означає, що не всі особливості застосування можуть бути ретельно перевірено за допомогою тестового інструменту.

Якщо функціональність програми, що тестується часто змінюється або теж складний, важко створити автоматизацію тестування всі особливості застосування, адже кожен інструмент має свої особливості недоліки.

Якщо ви не хочете опинитися в такій ситуації, перш ніж вибрати інструмент тестування, ви повинні проаналізувати тестові випадки та вирішити, які тестові приклади слід автоматизувати, а які ні. Це Техніко-економічний аналіз автоматизації діяльності.

Техніко-економічний аналіз автоматизації є дуже значним внеском у тестування. У цьому аналізі вам потрібно перевірити, чи тестується програма кваліфікований для автоматизованого тестування.

Деякі фактори, які потрібно враховувати:

Щоб дізнатися більше про ці фактори, ви можете скористатися a Контрольний список який включено до цієї статті

Як вибрати найкращий інструмент тестування автоматизації

Щоб вибрати найбільш підходящий інструмент тестування для проекту, менеджер тестування повинен дотримуватися наведеного нижче процесу вибору інструментів

Крок 1) Визначте вимоги до інструментів

Як вибрати інструмент тестування, якщо ви не знаєте, що шукаєте?

Вам потрібно точно визначити вимоги до вашого тестового інструменту. Усі вимоги мають бути документований та відгуки проектними командами та керівною радою.

Розглянемо наступний приклад:

Крок 2) Оцініть інструменти та постачальників

Після встановлення базових вимог до інструменту керівник тестування повинен

• Проаналізуйте комерційні інструменти та інструменти з відкритим кодом, доступні на ринку, на основі вимог проекту.
• Створити короткий список інструментів яка найкраще відповідає вашим критеріям
• Один із факторів, який ви повинні враховувати постачальники. Приймаючи рішення, ви повинні враховувати репутацію постачальника, підтримку після продажу, частоту оновлення інструментів тощо.
• Оцініть якість інструменту, взявши пробне використання та запуск пілотного. Багато постачальників часто пропонують пробні версії свого програмного забезпечення для завантаження

Крок 3) Оцінка витрат і вигод

Щоб забезпечити корисність інструменту тестування для бізнесу, менеджер з тестування повинен баланс наступні фактори:

A аналіз витрат і вигод слід виконувати перед придбанням або виготовленням інструменту

Приклад: Витративши значний час на дослідження інструментів тестування, команда проекту знайшла ідеальний інструмент тестування для проекту Guru99 Вебсайт банку. Результати оцінювання дійшли висновку, що цей інструмент може

• Double поточна продуктивність виконання тесту
• Зменшити зусилля управління на 30%

Однак після обговорення з постачальником програмного забезпечення ви виявили, що коштувати цього інструменту є занадто високим порівняно з значення та користь що це може привнести в командну роботу.

У такому випадку баланс співвідношення ціни та якості інструменту може вплинути на остаточне рішення.

Крок 4) Прийміть остаточне рішення

Щоб прийняти остаточне рішення, керівник випробувань повинен мати:

• Є сильне усвідомлення інструменту. Це означає, що ви повинні зрозуміти, що є сильний точки і слабкий точки інструменту
• Balance вартість і користь.

Навіть з годинами, витраченими на читання посібника з програмного забезпечення та інформації про постачальника, вам все одно може знадобитися випробувати інструмент у вашому реальному робочому середовищі, перш ніж купувати ліцензію.

Ви повинні провести зустріч з командою проекту, консультантами, щоб отримати глибші знання про інструмент.

Ваше рішення може негативно вплинути на проект, процес тестування та бізнес-цілі; Ви повинні добре подумати про це.

Крок 3 пропонує вам збалансувати витрати та вигоди. Розрахунок нижче перетворює це судження на число, яке ви можете представити.

Як розрахувати рентабельність інвестицій в автоматизоване тестування

Дискусія про витрати та вигоди, як правило, заходить у глухий кут, оскільки кожна сторона сперечається, виходячи з власної думки. Простий показник рентабельності інвестицій переводить розмову на докази, і більшість рад директорів очікують побачити їх, перш ніж схвалити придбання інструменту.

Базове порівняння — це вартість проведення тестів вручну із загальною вартістю їх автоматизації.

// Cost of one manual test cycle
Manual cost per cycle = Hours per cycle x Hourly rate

// One-off and recurring cost of automating
Automation cost = Tool licence + Script development + (Maintenance x Cycles)

// Return on investment across N cycles
ROI = ((Manual cost per cycle x N) - Automation cost) / Automation cost

Чотири входи визначають, чи вийде число додатним.

• Частота виконання: Автоматизація окупається лише завдяки повторенню. Щовечірній запуск пакету досягає точки беззбитковості набагато швидше, ніж один запуск за реліз.
• Обслуговування скриптів: Це та вартість, про яку більшість команд забуває. Нестабільний інтерфейс може витрачати більше годин на обслуговування, ніж ручне виконання, яке він замінив, і саме цю ситуацію і має охопити наведений вище аналіз доцільності.
• Модель ліцензії: На одного одночасного користувача, на одного іменованого користувача та одноразові безстрокові ліцензії дають дуже різні загальні показники за три роки. Змоделюйте період, протягом якого ви фактично плануєте використовувати інструмент.
• Переваги, які не є годинами: Швидший зворотний зв'язок, раніше виявлені дефекти та звільнення тестувальників для дослідницької роботи мають справжню цінність. Вкажіть їх поруч із рисунком, а не намагайтеся нав'язати їх йому.

💡 Порада: Розрахуйте точку беззбитковості, яка є кількістю циклів, за яких вартість автоматизації дорівнює вартості ручної роботи. Якщо беззбитковість досягає кінця терміну служби релізу, автоматизація цього пакету не є вигідною, протеtracяк виглядає інструмент.

На що слід звернути увагу, вибираючи інструмент керування тестами

З огляду на широкий вибір, легко заплутатися під час покупкиping для інструменту управління тестуванням. Це неупереджений посібник, який допоможе вам визначити найкращий інструмент відповідно до ваші потреби.

У цьому посібнику я надам вам 5 найважливіших параметрів, які часто ігноруються під час вибору інструменту керування тестами. Але перш ніж почати, дозвольте повторити...

Не порівнюйте яблуко і апельсин

Немає сенсу порівнювати інструмент SaaS за 30 доларів на місяць із повномасштабним комерційним інструментом за 6000 доларів, якщо ваш бюджет цього не дозволяє. Важливо фільтрувати інструмент за допомогою списку на основі БЮДЖЕТ перший. Якщо в бюджеті, з відкритим вихідним кодом – це хороший варіант. Хоча комерційні інструменти дорогі, вони пропонують чудову підтримку та прості у використанні завдяки великій кількості навчальних матеріалів.

Наступне, що вам слід розрахувати, це вартість вашої ліцензії. Для цього вам потрібно оцінити тривалість завершення тесту та який метод тестування ви виберете. Це допоможе вам визначити, яка модель відповідатиме вашому бюджету, наприклад, чи хочете ви платити як на зареєстрованого користувача, одночасного користувача або постійного користувачаЗазвичай постійні або одноразові витрати вищі через капітальні витрати. Для певного програмного забезпечення потрібна ліцензія на виконання. Не всі постачальники підтримують ліцензії на виконання, тому вам слід враховувати вартість ліцензії на виконання також, якщо ви плануєте встановлювати на різні машини.

Після того, як ви визначили свій вибір на основі бюджету, ось 5 дуже важливих параметрів для порівняння ваших інструментів керування тестами –

Порада №1 Інструмент керування тестуванням має підвищити продуктивність

Команди тестування стикаються з серйозними викликами, щоб встигати за швидкими технологічними змінами та необхідністю тестування на кількох платформах (як браузерах, так і пристроях). Оскільки ручне тестування займає більшу частину часу тестування, одним із способів вирішення цієї проблеми є посилення автоматизації. Але є й інші сфери для підвищення ефективності інструменту, які включають ефективне управління тестовою лабораторією/даними, управління релізами, глибоку звітність, серед іншого. Вибір правильного інструменту управління тестуванням може значно допомогти у покращенні цих параметрів.

Давайте розглянемо, що вимагається від інструмента керування тестами з точки зору продуктивності –

Деталізація тестової інформації

Інструмент керування тестуванням повинен містити детальні інформаційні звіти, пов'язані з процесом тестування. Наприклад, у разі невдалого тестового випадку завжди корисно знати, на якому етапі тест провалився, а не знати, що тестовий випадок провалився в цілому. Які б незначні зміни не були застосовані під час тестування, інструмент керування тестуванням повинен інформувати про них відповідних членів команди. Для зручного подальшого контролю та швидкого реагування він також повинен вести журнал аудиту змін, включаючи повне керування версіями тестових випадків. Крім того, інструмент керування тестуванням повинен зберігати результати тестування як сеанс і мати можливість порівнювати результати запуску тесту. Інші функції, які очікуються від стандартних інструментів керування тестуванням, це документування стратегії тестування, планування виконання тесту, створення дефектів, зв’язування історій, тощо. Функція завантаження відео та підтримка API були б вишенькою на торті.

Управління випусками Tracking (DevOps)

Релізи програмного забезпечення є складними та включають багато видів діяльності (наприклад, tracкороль версії збірки, координація команди та прозорість релізів) все відбувається одночасно. Хороший інструмент управління тестуванням повинен мати надійне управління релізами tracздатність king, яка веде облік списку програмного забезпечення, що тестується та випускається, щоб воно не конфліктувало з іншими артефактами тестування. Крім того, вона повинна мати можливість керувати всіма артефактами проекту в одному середовищі.

Інструмент управління тестуванням повинен забезпечувати єдине уявлення про вимоги для всіх зацікавлених сторін. Співпраця із зацікавленими сторонами гарантує, що будуть враховані правильні вимоги. Інструмент повинен мати можливість trace зв'язки між іншими активами розвитку та вимогами.

Для розподілених команд він повинен забезпечувати єдине спільне сховище для співпраці та обміну вимогами, оцінки зв’язаних дефектів і розуміння їх зв’язку з тестами.

Для забезпечення якості та узгодженості ваш інструмент керування тестуванням має підтримувати стандартизацію.

Звітність

Це хаос, якщо ваша команда тестування знає, скільки дефектів відкрито в релізі, але не знає, скільки часу знадобиться для їх вирішення. Для моніторингу тестової діяльності інженери-тестувальники дуже залежать від звітів, що генеруються інструментом управління тестуванням. Надійний інструмент управління тестуванням повинен надавати у своїх звітах таку інформацію, як прогрес плану тестування, статус створення тестового прикладу, тестовий приклад невдалий і пройдений, тестовий статус за пакетами, тестовий статус за областями, тестовий приклад для автоматизації, і т.п.

Ваш інструмент керування тестуванням має забезпечувати повну видимість діяльності розробника та процесів життєвого циклу від керування вимогами до тестування та виправлення дефектів.

Хороший інструмент керування тестами повинен містити наступні атрибути

• Графік і інформаційна панель повинні давати уявлення про те, скільки ваших автоматизованих тестів запущено або очікує на виконання
• Має висвітлити загальні атрибути тестування, як-от кількість пройдених/невдалих/пропущених тестів, робоче навантаження користувача тощо.
• Приймайте рішення про готовність кожного випуску
• Переглядайте свої автоматизовані тести разом із результатами ручних тестів

Порада №2. Підтримка Agile

Попит на Agile на сучасному ринку зростає, і він збільшується з кожним днем. Важливо, щоб ваш інструмент управління тестуванням підтримував Agile-методологію. У Agile вимоги є змінними та виконуються поступово, ваш інструмент управління тестуванням повинен бути здатним враховувати такі вимоги. Обраний вами інструмент управління Agile-тестуванням повинен сприяти глибокому партнерству між розробниками, тестувальниками та іншими зацікавленими сторонами (основний принцип Agile).

Інструмент управління тестами Agile повинен підтримувати

• Створення історій
• Оцінка
• Sprint планування відставання
• Графіки швидкості та інші звіти тощо.
• Scrum і Kanban

У Agile-середовищі порівняння тестових прогонів за допомогою інструменту управління тестуванням буде продуктивним, якщо ви розглядаєте зміни в коефіцієнтах дефектів за ітерацію. Також для Agile інструмент управління тестуванням повинен вести облік випуску продукту для кожної ітерації та журналу відкладень.

Порада №3 Зовнішня інтеграція

Автоматизоване виконання тестів може зменшити навантаження на інженерів-випробувачів. Ви повинні вибрати інструмент керування тестами, який легко інтегрується з інструменти автоматизаціїЗверніть увагу на можливість керування тестовими скриптами, а також планування та запуску тестування як локально, так і на віддаленому хості. Також бажано мати можливість зберігати результати автоматизованого тестування в інструменті керування тестуванням. Ваш інструмент керування тестуванням повинен підтримувати безперервна інтеграція. Основна перевага інструменту керування тестами з CI полягає в тому, що тести запускаються автоматично. Запуск може бути ініційований будь-чим, наприклад, фіксацією вихідного коду від розробника або тестовим прикладом із базовою автоматизацією тестування або запланованим завданням на певний час. Безперервна інтеграція відрізняється часом, деталізацією, напрямом і деталізація.

Для будь-якої команди QA інтеграція помилка tracкоролівський інструмент значно спрощує процес тестування. Стандартний інструмент управління тестуванням, який бездоганно інтегрується з додатком SDLC або іншими програмами для виявлення помилок. tracТакі інструменти, як JIRA, BugZilla, Mantis, додають цінності інструменту. Він має дозволяти користувачам зв'язувати помилки, запускати тестові випадки, централізовано керувати процесом тестування програмного забезпечення. Він також має дозволяти всій команді проекту працювати разом над однією проблемою одночасно.

Інтеграція вашого система служби підтримки – це важлива функція, яку повинен забезпечувати будь-який інструмент управління тестуванням. Програмне забезпечення служби підтримки або, інакше, система заявок допомагає користувачам отримати миттєве рішення своєї проблеми. Це допомагає клієнтам отримати огляд усіх відкритих і закритих питань.

API Бажана підтримка індивідуальних інтеграцій.

Порада №4 Мобільний

Ваш інструмент керування тестами має підтримувати мобільні пристрої та планшети.

Мобільна підтримка надзвичайно корисна для команд, які знаходяться на місці клієнта, а не за робочим столом, або для менеджерів, які працюють з командами в різних географічних місцях.

Інструмент керування тестами повинен мати повний (не скорочений) набір функцій, доступний на мобільному пристрої.

Підтримка кількох пристроїв і мобільних ОС є важливою, оскільки зі збільшенням кількості пристроїв виникає більше складнощів, таких як визначення місцезнаходження, жести, акселерометри та проблеми з орієнтацією. Зрештою, ви ніколи не купуєте телефон, думаючи, що він сумісний із вашим інструментом керування тестами!

Порада №5 Підтримка

Команда підтримки постачальника інструментів для управління тестуванням повинна бути прагне допомогти своїм клієнтам усіма можливими способами. Багато інструментів для управління тестуванням більше зосереджені на створенні глянцевих веб-сайтів та реклами для…tracбільше клієнтів. Але для безперервного та повторюваного бізнесу вони повинні зосередитися на наданні найкращої служби підтримки.

Найкращий інструмент керування тестами повинен мати такі функції, як живий чат, телефонний дзвінок, поширені запитання та онлайн-посібники користувача, інформація про документацію продукту, база знань, підвищення запитів у службу підтримки, тощо, щоб допомогти своїм клієнтам.

Багато інструментів управління тестуванням також сприяють відеоконференція в прямому ефірі з експертами з інструментів для вирішення запитів клієнтів. Якщо пряма конференція неможлива, то демонстрації або записані відео, пов'язані з інструментом управління тестуванням, повинні бути завжди доступні на сайті та доступні в будь-який час. У той же час для розробників, якщо інструмент надає підтримку API або користувацької інтеграції, необхідно надати демонстраційний сценарій та детальну документацію.

Хоча всі вищезазначені канали підтримки можуть бути недоступні для всіх інструментів, вам слід вибрати інструмент, який надає ваші «переважним» канал підтримки.

Ще один важливий параметр, про який часто забувають, - чи є постачальник інструменту Клієнт орієнтований? Ось кілька речей, які слід враховувати під час вибору інструменту керування тестами:

• Інтерфейс інструменту має бути зручним для користувача та включати функцію інтеграції клієнтів
• Він має включати кілька мов і кілька часових поясів
• Він повинен мати можливість розширеного пошуку

Сподіваюся, цей посібник допоможе вибрати інструмент, який найкраще відповідає вашим потребам у тестуванні! Для більш комплексного керування життєвим циклом вашої програми ви можете вивчити їх Інструменти ALM.

Поширені запитання