Як вибрати найкращий інструмент тестування автоматизації?

У статті Покращення процесу тестування, ви дізналися про моменти покращення від проекту Guru99 Bank. Він використовується автоматизовано Тестування замість Ручне тестування. Але члени команди можуть запитати вас –

Відповісти на це питання складно, оскільки необхідно враховувати багато факторів

• Ви хочете підтримувати свою тестову діяльність за допомогою програмного засобу, але ви не знаєте інструментів, доступних на ринку
• Який тип інструменту найкраще відповідатиме вимогам і бюджету проекту?
• Хто в команді має навички використання інструменту після того, як ви його придбали

Важливість вибору інструменту тестування програмного забезпечення

Успіх будь-якої автоматизації тестування залежить від визначення правильного інструменту для автоматизації. Вибір «правильного» інструменту тестування для вашого проекту є одним із найкращих способів досягти мети проекту. Наступний приклад покаже вам переваги вибору інструменту тестування

У проекті Guru99 Bank, щоб заощадити зусилля на тестуванні, команда проекту вирішила використовувати інструмент автоматизованого тестування для виконання тесту. Після багатьох зустрічей ваша команда вибрала відповідний інструмент для проекту.

Через місяць ви отримали звіт від команди проекту про цей інструмент

Результати чудові. Новий автоматизований інструмент подвоїв продуктивність тестування. Значить, ми врятували 50% вартість виконання тесту. Якщо ви зацікавлені в дослідженні додаткових варіантів для своїх проектів, перегляньте цей список автоматизовані засоби тестування.

Це приклад переваги використання інструменту тестування в проекті. Вибір правильного інструменту тестування допоможе підвищити продуктивність проекту та заощадити кошти проекту.

Тип тестових інструментів

Існує багато типів інструментів тестування, які менеджер тестів може враховувати під час вибору інструментів тестування.

Інструменти з відкритим кодом

Інструменти з відкритим вихідним кодом – це програми, у яких міститься вихідний код відкрито опубліковано для використання та/або модифікації оригінального дизайну, безкоштовно.

Інструменти з відкритим кодом доступні майже для будь-якої фази процесу тестування, починаючи з Тестовий випадок управління до Дефект відстеження. У порівнянні з комерційними інструментами інструменти з відкритим кодом можуть мати менше функцій.

Комерційні інструменти

Комерційні інструменти — це програмне забезпечення, яке виробляється для продажу або в комерційних цілях.

Комерційні інструменти мають більше підтримки та більше функцій від постачальника, ніж інструменти з відкритим кодом.

Спеціальні інструменти

У деяких проектах тестування середовище тестування та процес тестування мають особливі характеристики. Жоден інструмент із відкритим кодом або комерційний інструмент не може задовольнити цю вимогу. Таким чином, менеджер з тестування повинен розглянути можливість розробки спеціального інструменту.

Приклад: Ви хочете знайти інструмент тестування для проекту Guru99 Bank. Ви хочете, щоб цей інструмент відповідав певним вимогам проекту.

Техніко-економічний аналіз автоматизації

Повертаючись до наведеного вище прикладу, команда проекту вирішила розробити спеціальний інструмент, який відповідатиме вимогам проекту. Припустімо, що їм було надано 100 тестових випадків для автоматизації, і вони оцінили 5 днів для розробки інструменту, який може автоматизувати всі тих тестових випадків.

Ось результат їх роботи

Як і в наведеному вище сценарії, проблема полягає в тому, що інструмент тестування не може автоматизувати всі тестові випадки специфікації тесту. Це означає, що не всі особливості застосування можуть бути ретельно перевірено за допомогою тестового інструменту.

Якщо функціональність програми, що тестується часто змінюється або теж складний, важко створити автоматизацію тестування всі особливості застосування, адже кожен інструмент має свої особливості недоліки.

Якщо ви не хочете опинитися в такій ситуації, перш ніж вибрати інструмент тестування, ви повинні проаналізувати тестові випадки та вирішити, які тестові приклади слід автоматизувати, а які ні. Це Техніко-економічний аналіз автоматизації діяльності.

Техніко-економічний аналіз автоматизації є дуже значним внеском у тестування. У цьому аналізі вам потрібно перевірити, чи тестується програма кваліфікований для автоматизованого тестування.

Деякі фактори, які потрібно враховувати:

Щоб дізнатися більше про ці фактори, ви можете скористатися a Контрольний список який включено до цієї статті

Як вибрати найкращий інструмент тестування автоматизації

Щоб вибрати найбільш підходящий інструмент тестування для проекту, менеджер тестування повинен дотримуватися наведеного нижче процесу вибору інструментів

Крок 1) Визначте вимоги до інструментів

Як вибрати інструмент тестування, якщо ви не знаєте, що шукаєте?

Ви повинні точно визначити вимоги до інструменту тестування. Усі вимоги мають бути виконані документований та відгуки проектними командами та керівною радою.

Розглянемо наступний приклад:

Крок 2) Оцініть інструменти та постачальників

Після встановлення базових вимог до інструменту керівник тестування повинен

• Проаналізуйте комерційні інструменти та інструменти з відкритим кодом, доступні на ринку, на основі вимог проекту.
• Створити короткий список інструментів яка найкраще відповідає вашим критеріям
• Один із факторів, який ви повинні враховувати постачальники. Приймаючи рішення, ви повинні враховувати репутацію постачальника, підтримку після продажу, частоту оновлення інструментів тощо.
• Оцініть якість інструменту, взявши пробне використання та запуск пілотного. Багато постачальників часто пропонують пробні версії свого програмного забезпечення для завантаження

Крок 3) Оцінка витрат і вигод

Щоб гарантувати, що інструмент тестування є корисним для бізнесу, менеджер тестування повинен баланс наступні фактори:

A аналіз витрат і вигод слід виконувати перед придбанням або виготовленням інструменту

Приклад: витративши чимало часу на дослідження інструментів тестування, команда проекту знайшла ідеальний інструмент тестування для веб-сайту проекту Guru99 Bank. Результати оцінки зробили висновок, що цей інструмент може

• Double поточна продуктивність виконання тесту
• Зменшити зусилля управління на 30%

Однак після обговорення з постачальником програмного забезпечення ви виявили, що коштувати цього інструменту занадто висока порівняно з значення та користь що це може привнести в командну роботу.

У такому випадку баланс співвідношення між ціною та вигодою інструменту може вплинути на остаточне рішення.

Крок 4) Прийміть остаточне рішення

Щоб прийняти остаточне рішення, керівник випробувань повинен мати:

• Є сильне усвідомлення інструменту. Це означає, що ви повинні зрозуміти, що є сильний точки і слабкий точки інструменту
• Balance вартість і користь.

Навіть з годинами, витраченими на читання посібника з програмного забезпечення та інформації про постачальника, вам все одно може знадобитися випробувати інструмент у вашому реальному робочому середовищі, перш ніж купувати ліцензію.

Ви повинні провести зустріч з командою проекту, консультантами, щоб отримати глибші знання про інструмент.

Ваше рішення може негативно вплинути на проект, процес тестування та бізнес-цілі; Ви повинні добре подумати про це.

На що слід звернути увагу, вибираючи інструмент керування тестами

Завдяки широкому спектру доступних варіантів легко заплутатися, купуючи інструмент керування тестами. Це неупереджений посібник, який допоможе вам вибрати найкращий інструмент відповідно до ваші потреби.

У цьому посібнику я надам вам 5 найважливіших параметрів, які часто ігноруються під час вибору інструменту керування тестами. Але перш ніж почати, дозвольте повторити...

Не порівнюйте яблуко і апельсин

Немає сенсу порівнювати інструмент SaaS за 30 доларів на місяць із повномасштабним комерційним інструментом за 6000 доларів, якщо ваш бюджет цього не дозволяє. Важливо фільтрувати інструмент за допомогою списку на основі БЮДЖЕТ перший. Якщо в бюджеті, з відкритим вихідним кодом це хороший варіант. Незважаючи на те, що комерційні інструменти коштують дорого, вони пропонують чудову підтримку та прості у використанні завдяки великій кількості навчальних матеріалів.

Наступне, що вам слід розрахувати, це вартість вашої ліцензії. Для цього вам потрібно оцінити тривалість завершення тесту та який метод тестування ви виберете. Це допоможе вам визначити, яка модель відповідатиме вашому бюджету, наприклад, чи хочете ви платити як на зареєстрованого користувача, одночасного користувача або постійного користувача. Зазвичай постійні або одноразові витрати вищі через його капітальні витрати. Для певного програмного забезпечення потрібна ліцензія на час виконання. Не всі постачальники підтримують ліцензії на час виконання, тому вам також потрібно враховувати вартість ліцензій на час виконання, якщо ви плануєте встановити програму на різні машини.

Після того, як ви визначили свій вибір на основі бюджету, ось 5 дуже важливих параметрів для порівняння ваших інструментів керування тестами –

Порада №1 Інструмент керування тестуванням має підвищити продуктивність

Команди тестування стикаються з серйозними проблемами, щоб не відставати від швидких технологічних змін і потреби в тестуванні на багатьох платформах (як у браузерах, так і на пристроях). Оскільки ручне тестування займає більшу частину часу тестування, один із способів вирішення цієї проблеми — посилити автоматизацію. Але є й інші напрямки для підвищення ефективності інструменту, зокрема ефективне керування тестовою лабораторією/даними, керування випусками, детальне звітування та ін. Вибір правильного інструменту керування тестами може значно допомогти покращити ці параметри.

Давайте розглянемо, що вимагається від інструмента керування тестами з точки зору продуктивності –

Деталізація тестової інформації

Інструмент керування тестуванням має містити докладні інформаційні звіти, пов’язані з процесом тестування. Наприклад, у випадку невдачі тесту завжди корисно знати, на якому кроці тест не вдався, замість того, щоб знати, що тест не вдався в цілому. Незалежно від незначних змін, застосованих під час тестування, інструмент керування тестуванням повинен повідомляти про зміни відповідних членів команди. Для полегшення подальших дій і швидкого виконання дій він також повинен зберігати контрольний журнал змін, включаючи повну версію тестових випадків. Крім того, інструмент керування тестуванням повинен зберігати результати тестування як сеанс і мати можливість порівнювати результати виконання тесту. Інші функції, які очікуються від стандартних інструментів керування тестами, це документування стратегії тестування, планування виконання тесту, створення дефектів, зв’язування історій, тощо. Функція завантаження відео та підтримка API були б вишенькою на торті.

Відстеження керування випусками (DevOps)

Випуски програмного забезпечення є складними процесами, які виконуються одночасно (наприклад, відстеження версії збірки, координація команди та прозорість випусків). Хороший інструмент керування тестуванням повинен мати надійну функцію відстеження керування випуском, яка зберігає список програмного забезпечення, яке тестується та випускається, щоб не конфліктувати з іншими артефактами тестування. Крім того, він повинен мати можливість керувати всіма артефактами проекту в одному середовищі.

Інструмент управління тестуванням повинен забезпечувати єдиний погляд на вимоги для всіх зацікавлених сторін. Співпраця із зацікавленими сторонами гарантує врахування правильних вимог. Інструмент повинен мати можливість відстежувати зв’язки між іншими ресурсами розробки та вимогами.

Для розподілених команд він повинен забезпечувати єдине спільне сховище для співпраці та обміну вимогами, оцінки зв’язаних дефектів і розуміння їх зв’язку з тестами.

Для забезпечення якості та узгодженості ваш інструмент керування тестуванням має підтримувати стандартизацію.

Звітність

Це хаос, якщо ваша команда тестування знає, скільки дефектів відкрито у випуску, але не знає, скільки часу знадобиться, щоб їх усунути. Для моніторингу тестової діяльності інженери-випробувачі дуже залежать від звітів, створених інструментом керування тестуванням. Надійний інструмент керування тестуванням має надавати наступну інформацію у своїх звітах, наприклад прогрес плану тестування, статус створення тестового прикладу, тестовий приклад невдалий і пройдений, тестовий статус за пакетами, тестовий статус за областями, тестовий приклад для автоматизації, і т.п.

Ваш інструмент керування тестуванням має забезпечувати повну видимість діяльності розробника та процесів життєвого циклу від керування вимогами до тестування та виправлення дефектів.

Хороший інструмент керування тестами повинен містити наступні атрибути

• Графік і інформаційна панель повинні давати уявлення про те, скільки ваших автоматизованих тестів запущено або очікує на виконання
• Має висвітлити загальні атрибути тестування, як-от кількість пройдених/невдалих/пропущених тестів, робоче навантаження користувача тощо.
• Приймайте рішення про готовність кожного випуску
• Переглядайте свої автоматизовані тести разом із результатами ручних тестів

Порада №2. Підтримка Agile

Попит на agile на поточному ринку зростає, і з кожним днем ​​він стає все більшим. Важливо, щоб ваш інструмент керування тестами підтримував гнучку методологію. У Agile вимоги змінюються та виконуються поступово, ваш інструмент керування тестуванням повинен відповідати таким вимогам. Вибраний вами гнучкий інструмент керування тестуванням має сприяти глибокому партнерству між розробниками, тестувальниками та іншими зацікавленими сторонами (основний принцип гнучкості).

Інструмент управління тестами Agile повинен підтримувати

• Створення історій
• Оцінка
• Sprint планування відставання
• Графіки швидкості та інші звіти тощо.
• Scrum і Kanban

У гнучкому середовищі порівняння тестових прогонів за допомогою інструменту керування тестуванням було б продуктивним, якщо ви спостерігаєте за змінами рівня дефектів за ітерацію. Крім того, для гнучкого інструменту керування тестуванням потрібно буде вести облік випуску продукту для кожної ітерації та відставання.

Порада №3 Зовнішня інтеграція

Автоматизоване виконання тестів може зменшити навантаження на інженерів-випробувачів. Ви повинні вибрати інструмент керування тестами, який легко інтегрується з інструменти автоматизації. Шукайте можливість керувати тестовими сценаріями, а також планувати та запускати тест як локально, так і на віддаленому хості. Крім того, бажана можливість зберігати результати тестування автоматизації в інструменті керування тестуванням. Ваш інструмент керування тестами повинен підтримувати безперервна інтеграція. Основна перевага інструменту керування тестами з CI полягає в тому, що тести запускаються автоматично. Запуск може бути ініційований будь-чим, наприклад, фіксацією вихідного коду від розробника або тестовим прикладом із базовою автоматизацією тестування або запланованим завданням на певний час. Безперервна інтеграція відрізняється часом, деталізацією, напрямом і деталізація.

Для будь-якої команди QA інтеграція інструмент відстеження помилок робить процес тестування дуже легким. Стандартний інструмент керування тестами, який легко інтегрується з додатком SDLC або іншими інструментами відстеження помилок, такими як JIRA, BugZilla, Mantis, додає інструменту більше цінності. Це має дозволяти користувачам пов’язувати помилки, запускати тестовий екземпляр для централізованого керування процесом тестування програмного забезпечення. Це також має дозволити всій команді проекту працювати разом над одним питанням одночасно.

Інтеграція вашого система служби підтримки це важлива функція, яку повинен надавати будь-який інструмент керування тестами. Програмне забезпечення служби підтримки або інакше відоме як система тикетів допомагає користувачам отримати миттєве вирішення їхньої проблеми. Це допомагає клієнтам отримати огляд усіх відкритих і закритих питань.

API Бажана підтримка індивідуальних інтеграцій.

Порада №4 Мобільний

Ваш інструмент керування тестами має підтримувати мобільні пристрої та планшети.

Мобільна підтримка надзвичайно корисна для команд, які знаходяться на місці клієнта, а не за робочим столом, або для менеджерів, які працюють з командами в різних географічних місцях.

Інструмент керування тестами повинен мати повний (не скорочений) набір функцій, доступний на мобільному пристрої.

Підтримка кількох пристроїв і мобільних ОС є важливою, оскільки зі збільшенням кількості пристроїв виникає більше складнощів, таких як визначення місцезнаходження, жести, акселерометри та проблеми з орієнтацією. Зрештою, ви ніколи не купуєте телефон, думаючи, що він сумісний із вашим інструментом керування тестами!

Порада №5 Підтримка

Команда підтримки постачальника інструментів керування тестуванням має прагнути допомагати своїм клієнтам усіма можливими способами. Багато інструментів керування тестами більше зосереджені на створенні глянцевих веб-сайтів і реклами, щоб залучити більше клієнтів. Але для безперервних і повторюваних операцій вони повинні зосередитися на наданні найкращої підтримки служби підтримки.

Найкращий інструмент керування тестами повинен мати такі функції, як живий чат, телефонний дзвінок, поширені запитання та онлайн-посібники користувача, інформація про документацію продукту, база знань, підвищення запитів у службу підтримки, тощо, щоб допомогти своїм клієнтам.

Багато інструментів керування тестами також полегшують відеоконференція в прямому ефірі з експертами з інструментів для вирішення запитів клієнтів. Якщо конференція в прямому ефірі неможлива, то демонстрації або записані відеоролики, пов’язані з інструментом керування тестуванням, мають бути завжди доступними на сайті та мати до них доступ у будь-який час. У той час як для розробників, якщо інструмент забезпечує API або користувальницьку підтримку інтеграції, необхідно надати демонстраційний сценарій і детальну документацію.

Хоча всі вищезазначені канали підтримки можуть бути недоступні для всіх інструментів, вам слід вибрати інструмент, який надає ваші «переважним» канал підтримки.

Ще один важливий параметр, про який часто забувають, - чи є постачальник інструменту Клієнт орієнтований? Ось кілька речей, які слід враховувати під час вибору інструменту керування тестами:

• Інтерфейс інструменту має бути зручним для користувача та включати функцію інтеграції клієнтів
• Він має включати кілька мов і кілька часових поясів
• Він повинен мати можливість розширеного пошуку

Сподіваюся, цей посібник допоможе вибрати інструмент, який найкраще відповідає вашим потребам у тестуванні! Для більш комплексного керування життєвим циклом вашої програми ви можете вивчити їх Інструменти ALM.