Jak wybrać najlepsze narzędzie do testowania automatycznego?

W artykule Doskonalenie procesu testowego, dowiedziałeś się o punktach poprawy z projektu Guru99 Bank. Korzysta z automatycznych Testy zamiast Testowanie ręczne. Ale członkowie zespołu mogą cię zapytać:

Odpowiedź na to pytanie jest trudna, ponieważ należy wziąć pod uwagę wiele czynników

• Chcesz wesprzeć swoje działania testowe za pomocą narzędzia programowego, ale nie znasz narzędzi dostępnych obecnie na rynku
• Który typ narzędzia będzie najlepiej pasował do wymagań i budżetu projektu?
• Kto w zespole ma umiejętności korzystania z narzędzia po jego zakupie

Znaczenie wyboru narzędzia do testowania oprogramowania

Sukces w każdej automatyzacji testów zależy od zidentyfikowania właściwego narzędzia do automatyzacji. Wybór „właściwego” narzędzia testowego dla Twojego projektu jest jednym z najlepszych sposobów na osiągnięcie celu projektu. Poniższy przykład pokaże Ci korzyści z wyboru narzędzia testowego

W projekcie GuruAby zaoszczędzić na testowaniu, zespół projektowy zdecydował się na użycie zautomatyzowanego narzędzia do testowania. Po wielu spotkaniach zespół wybrał odpowiednie narzędzie dla projektu.

Miesiąc później otrzymałeś raport od zespołu projektowego na temat tego narzędzia

Wyniki są świetne. Nowe zautomatyzowane narzędzie podwoiło wydajność testowania. Oznacza to, że zaoszczędziliśmy 50% koszt wykonania testu. Jeśli chcesz poznać więcej opcji dla swoich projektów, sprawdź tę listę narzędzia do automatycznego testowania.

To przykład korzyści płynących z wykorzystania narzędzia testowego w projekcie. Wybór odpowiedniego narzędzia testowego pomoże Ci zwiększyć produktywność projektu i obniżyć jego koszty.

Rodzaj narzędzi testowych

Istnieje wiele typów narzędzi testowych, które kierownik testów może wziąć pod uwagę przy wyborze narzędzi testowych.

Narzędzia open source

Narzędzia open source to program, w którym znajduje się kod źródłowy otwarcie opublikowany do użytku i/lub modyfikacji w stosunku do oryginalnego projektu, darmo.

Narzędzia typu open source są dostępne na niemal każdym etapie procesu testowania, począwszy od Przypadek testowy zarządzanie do Wada trackról. W porównaniu z narzędziami komercyjnymi narzędzia open source mogą mieć mniej funkcji.

Narzędzia komercyjne

Narzędzia komercyjne to oprogramowanie stworzone na sprzedaż lub służące celom komercyjnym.

Narzędzia komercyjne oferują większe wsparcie i więcej funkcji od dostawcy niż narzędzia typu open source.

Narzędzia niestandardowe

W niektórych projektach testowych środowisko testowe i proces testowania mają specyficzne cechy. Żadne narzędzie open source ani komercyjne nie jest w stanie spełnić tych wymagań. Dlatego Kierownik Testów musi rozważyć opracowanie narzędzia niestandardowego.

Przykład: Chcesz znaleźć narzędzie testowe dla projektu Guru99 Bank. Chcesz, aby to narzędzie spełniało określone wymagania projektu.

Niezależnie od tego, którą kategorię wybierzesz, następne pytanie brzmi, czy Twoje testy w ogóle nadają się do automatyzacji.

Analiza wykonalności automatyzacji

Wracając do powyższego przykładu, zespół projektowy zdecydował się opracować niestandardowe narzędzie, które będzie w stanie spełnić wymagania projektu. Załóżmy, że otrzymali 100 przypadków testowych do zautomatyzowania i oszacowali, że mają 5 dni na opracowanie narzędzia, które może zautomatyzować cała kolekcja tych przypadków testowych.

Oto efekt ich pracy

Podobnie jak w powyższym scenariuszu, problem polega na tym, że narzędzie testowe nie może zautomatyzować wszystkich przypadków testowych zgodnych ze specyfikacją testu. To znaczy, że nie wszystko funkcje aplikacji mogą być całkowicie przetestowane za pomocą narzędzia testowego.

Jeśli funkcjonalność testowanej aplikacji często się zmienia albo też jest skomplikowane, trudno jest stworzyć dla nich automatyzację testów cała kolekcja funkcje aplikacji, ponieważ każde narzędzie ma swoje własne Ograniczenia.

Jeśli nie chcesz znaleźć się w takiej sytuacji, przed wybraniem narzędzia testowego musisz przeanalizować przypadki testowe i zdecydować, które przypadki testowe powinny być zautomatyzowane, a które nie. To jest Analiza wykonalności automatyzacji aktywności.

Analiza wykonalności automatyzacji jest bardzo ważnym czynnikiem przyczyniającym się do testowania. W tej analizie należy sprawdzić, czy testowana aplikacja jest wykwalifikowany do testu automatycznego.

Niektóre czynniki, które należy wziąć pod uwagę:

Aby dowiedzieć się więcej o tych czynnikach, możesz użyć a checklist co jest zawarte w tym artykule

Jak wybrać najlepsze narzędzie do testowania automatycznego

Aby wybrać najbardziej odpowiednie narzędzie testowe dla projektu, Kierownik Testów powinien postępować zgodnie z poniższym procesem wyboru narzędzi

Krok 1) Zidentyfikuj wymagania dotyczące narzędzi

Jak wybrać narzędzie do testowania, jeśli nie wiesz, czego szukasz?

Musisz precyzyjnie określić wymagania dotyczące narzędzia testowego. Wszystkie wymagania muszą być spełnione. udokumentowane oraz recenzja przez zespoły projektowe i zarząd.

Rozważ następujący przykład:

Krok 2) Oceń narzędzia i dostawców

Po określeniu wymagań narzędzia, Kierownik Testów powinien to zrobić

• Przeanalizuj narzędzia komercyjne i open source dostępne na rynku w oparciu o wymagania projektu.
• Stwórz krótka lista narzędzi który najlepiej spełnia Twoje kryteria
• Jednym z czynników, który należy wziąć pod uwagę, jest sprzedawców. Podejmując decyzję, powinieneś wziąć pod uwagę reputację dostawcy, wsparcie posprzedażowe, częstotliwość aktualizacji narzędzi itp.
• Oceń jakość narzędzia, biorąc użycie próbne i uruchomienie pilotażu. Wielu dostawców często udostępnia do pobrania wersje próbne swojego oprogramowania

Krok 3) Oszacuj koszty i korzyści

Aby mieć pewność, że narzędzie testowe będzie korzystne dla firmy, Menedżer Testów musi: równoważyć następujące czynniki:

A Analiza kosztów i korzyści należy wykonać przed zakupem lub zbudowaniem narzędzia

Przykład: Po poświęceniu znacznej ilości czasu na zbadanie narzędzi testowych zespół projektowy znalazł idealne narzędzie testowe dla projektu GuruStrona internetowa 99 Banku. Wyniki oceny wykazały, że to narzędzie może

• Double bieżącą produktywność wykonywania testów
• Zredukować wysiłek związany z zarządzaniem o 30%

Jednak po rozmowie z dostawcą oprogramowania okazało się, że plik koszt tego narzędzia jest zbyt wysoka w porównaniu do wartość oraz korzyści jakie może wnieść do pracy zespołowej.

W takim przypadku równoważyć różnica między kosztami i korzyściami narzędzia może mieć wpływ na ostateczną decyzję.

Krok 4) Podejmij ostateczną decyzję

Aby podjąć ostateczną decyzję, Kierownik Testów musi posiadać:

• Mieć silna świadomość narzędzia. Oznacza to, że musisz zrozumieć, który to jest silny punkty i słaby punkty narzędzia
• Bilans koszt i korzyść.

Nawet jeśli poświęcisz wiele godzin na czytanie instrukcji obsługi oprogramowania i informacji o dostawcach, być może będziesz musiał wypróbować narzędzie w rzeczywistym środowisku pracy przed zakupem licencji.

Powinieneś odbyć spotkanie z zespołem projektowym, konsultantami, aby uzyskać głębszą wiedzę o narzędziu.

Twoja decyzja może niekorzystnie wpłynąć na projekt, proces testowania i cele biznesowe; powinieneś spędzić dobry czas, aby się nad tym zastanowić.

Krok 3 wymaga zbilansowania kosztów z korzyściami. Poniższe obliczenie przekształca tę ocenę w liczbę, którą możesz przedstawić.

Jak obliczyć zwrot z inwestycji w testy automatyczne

Dyskusja o kosztach i korzyściach często utknęła w martwym punkcie, ponieważ każda ze stron argumentuje, opierając się na własnych opiniach. Prosta informacja o zwrocie z inwestycji przenosi rozmowę na temat dowodów, a większość zarządów oczekuje ich przed zatwierdzeniem zakupu narzędzi.

Podstawowym porównaniem jest koszt ręcznego przeprowadzenia testów i całkowity koszt ich zautomatyzowania.

// Cost of one manual test cycle
Manual cost per cycle = Hours per cycle x Hourly rate

// One-off and recurring cost of automating
Automation cost = Tool licence + Script development + (Maintenance x Cycles)

// Return on investment across N cycles
ROI = ((Manual cost per cycle x N) - Automation cost) / Automation cost

Cztery dane wejściowe decydują o tym, czy liczba będzie dodatnia.

• Częstotliwość wykonywania: Automatyzacja opłaca się tylko dzięki powtarzaniu. Pakiet uruchamiany co noc osiąga próg rentowności znacznie szybciej niż uruchamiany raz na wydanie.
• Konserwacja skryptu: To koszt, o którym zapomina większość zespołów. Niestabilny interfejs może pochłaniać więcej godzin konserwacji niż ręczne wykonywanie, które zastąpił, a to właśnie ta sytuacja jest celem analizy wykonalności powyżej.
• Model licencji: W przeliczeniu na jednego użytkownika, na użytkownika nazwanego i jednorazowe licencje wieczyste dają bardzo różne wyniki w ciągu trzech lat. Załóż model okresu, przez który planujesz korzystać z narzędzia.
• Korzyści, które nie są godzinami: Szybszy feedback, wcześniejsze wykrywanie błędów i umożliwienie testerom pracy eksploracyjnej mają realną wartość. Należy je podać obok danych liczbowych, zamiast próbować ich do tego zmuszać.

💡 Wskazówka: Oblicz próg rentowności, czyli liczbę cykli, przy których koszt automatyzacji zrówna się z kosztem ręcznym. Jeśli próg rentowności spadnie po okresie obowiązywania wersji, automatyzacja pakietu nie będzie jednak opłacalna.tracwygląda narzędzie.

Rzeczy do rozważenia przy wyborze narzędzia do zarządzania testami

Przy tak szerokiej gamie dostępnych opcji, łatwo się pogubić podczas zakupówping narzędzia do zarządzania testami. To obiektywny przewodnik, który pomoże Ci wybrać najlepsze narzędzie zgodnie z… Twoje potrzeby.

W tym przewodniku podam 5 najważniejszych, ale często ignorowanych parametrów przy wyborze narzędzia do zarządzania testami. Ale zanim zacznę, pozwólcie, że powtórzę:

Nie porównuj jabłek i pomarańczy

Nie ma sensu porównywać narzędzia SaaS za 30 dolarów miesięcznie z pełnym narzędziem komercyjnym o wartości 6000 dolarów, jeśli budżet na to nie pozwala. Ważne jest, aby filtrować narzędzie za pomocą listy BUDŻET Pierwszy. Jeśli masz ograniczony budżet, open-source to dobra opcja. Chociaż narzędzia komercyjne są drogie, oferują doskonałe wsparcie i są łatwe w użyciu, a do tego zawierają mnóstwo materiałów szkoleniowych.

Następną rzeczą, którą powinieneś obliczyć, jest koszt licencji. W tym celu musisz oszacować czas trwania testu i wybraną metodę testowania. Pomoże Ci to dowiedzieć się, jaki model będzie pasował do Twojego budżetu, np. Czy chcesz zapłacić jako na zarejestrowanego użytkownika, użytkownika równoczesnego lub użytkownika stałegoZazwyczaj stałe lub jednorazowe koszty są wyższe ze względu na nakłady inwestycyjne. W przypadku niektórych programów potrzebna jest licencja typu run-time. Nie wszyscy dostawcy obsługują licencje typu run-time, dlatego należy wziąć pod uwagę koszt licencji typu run-time, jeśli planuje się instalację na różnych komputerach.

Kiedy już dokonasz selekcji na podstawie budżetu, oto 5 bardzo ważnych parametrów umożliwiających porównanie narzędzi do zarządzania testami:

Wskazówka nr 1 Narzędzie do zarządzania testami powinno poprawić produktywność

Zespoły testowe stoją przed trudnymi wyzwaniami, aby nadążyć za szybkimi zmianami technologicznymi i potrzebą testowania na wielu platformach (zarówno w przeglądarkach, jak i na urządzeniach). Ponieważ testowanie manualne pochłania większość czasu testowania, jednym ze sposobów radzenia sobie z tym wyzwaniem jest zwiększenie automatyzacji. Istnieją jednak inne obszary, w których można poprawić wydajność narzędzia, takie jak efektywne zarządzanie laboratorium testowym/danymi, zarządzanie wydaniami, wnikliwe raportowanie i inne. Wybór odpowiedniego narzędzia do zarządzania testami może znacząco pomóc w poprawie tych parametrów.

Przyjrzyjmy się wymaganiom narzędzia do zarządzania testami z punktu widzenia produktywności:

Szczegółowość informacji testowych

Narzędzie do zarządzania testami powinno zawierać szczegółowe raporty informacyjne dotyczące procesu testowania. Na przykład, w przypadku niepowodzenia przypadku testowego, zawsze pomocna jest wiedza o tym, na którym etapie test zakończył się niepowodzeniem, zamiast znać cały przypadek testowy. Niezależnie od drobnych zmian wprowadzonych podczas testowania, narzędzie do zarządzania testami powinno informować o nich odpowiednich członków zespołu. Aby ułatwić śledzenie i szybkie działanie, powinno również przechowywać ślad audytu zmian, w tym pełne wersjonowanie przypadków testowych. Ponadto narzędzie do zarządzania testami powinno zapisywać wyniki testów jako sesję i umożliwiać porównywanie wyników przebiegu testów. Inne funkcje, których oczekuje się od standardowych narzędzi do zarządzania testami, to: dokumentowanie strategii testów, planowanie wykonania testów, tworzenie defektów, łączenie historii, itp. Wisienką na torcie byłaby funkcja przesyłania wideo i obsługa API.

Zarządzanie wersjami Tracking (DevOps)

Wydania oprogramowania są złożone i obejmują wiele czynności (takich jak tracKról wersji kompilacji, koordynacja zespołu i transparentność wydań) – wszystko dzieje się jednocześnie. Dobre narzędzie do zarządzania testami musi zapewniać solidne zarządzanie wydaniami. tracZdolność do przechowywania listy testowanego i udostępnianego oprogramowania, aby nie kolidowało ono z innymi artefaktami testowymi. Powinna również umożliwiać zarządzanie wszystkimi artefaktami projektu w jednym środowisku.

Narzędzie do zarządzania testami musi zapewniać jednolity widok wymagań dla wszystkich interesariuszy. Współpraca z interesariuszami gwarantuje, że zostaną uwzględnione właściwe wymagania. Narzędzie powinno umożliwiać: trace powiązania pomiędzy innymi zasobami i wymaganiami programistycznymi.

W przypadku zespołów rozproszonych powinno zapewniać jedno współdzielone repozytorium umożliwiające współpracę i udostępnianie wymagań, ocenę powiązanych defektów i zrozumienie ich związku z testami.

Aby zapewnić jakość i spójność, narzędzie do zarządzania testami musi wymuszać standaryzację.

Raportowanie

To chaos, jeśli zespół testerów wie, ile defektów jest otwartych w wersji, ale nie wie, ile czasu zajmie ich rozwiązanie. Aby monitorować działania testowe, inżynierowie testów w dużym stopniu polegają na raportach generowanych przez narzędzie do zarządzania testami. Niezawodne narzędzie do zarządzania testami powinno dostarczać w raportach następujące informacje: postęp planu testów, status tworzenia przypadku testowego, przypadek testowy nieudany i zaliczony, status testu według zestawów, status testu według obszaru, przypadek testowy do automatyzacji, itd.

Twoje narzędzie do zarządzania testami powinno umożliwiać pełną widoczność działań programistów i procesów cyklu życia, od zarządzania wymaganiami po testowanie i naprawianie defektów.

Dobre narzędzie do zarządzania testami powinno zawierać następujące atrybuty

• Wykres i pulpit nawigacyjny powinny dać wgląd w to, ile automatycznych testów zostało uruchomionych lub oczekuje na wykonanie
• Powinien podkreślać typowe atrybuty testów, takie jak liczba przypadków testowych zakończonych powodzeniem/niepowodzeniem/pominiętymi, obciążenie użytkownika itp.
• Podejmij decyzję o gotowości każdego wydania
• Przeglądaj przebiegi testów automatycznych wraz z wynikami testów ręcznych

Wskazówka nr 2 Zwinne wsparcie

Zapotrzebowanie na metodykę Agile na obecnym rynku rośnie z każdym dniem. Ważne jest, aby narzędzie do zarządzania testami wspierało metodykę Agile. W Agile wymagania są zmienne i realizowane przyrostowo, a narzędzie do zarządzania testami powinno być w stanie sprostać tym wymaganiom. Wybrane narzędzie do zarządzania testami Agile powinno promować głęboką współpracę między programistami, testerami i innymi interesariuszami (podstawowa zasada Agile).

Narzędzie do zarządzania testami Agile powinno wspierać

• Tworzenie historii
• Wyceny
• Sprint planowanie zaległości
• Wykresy prędkości i inne raporty itp.
• Scrum i Kanban

W środowisku Agile porównanie przebiegów testów za pomocą narzędzia do zarządzania testami będzie produktywne, jeśli obserwujesz zmiany we wskaźnikach defektów w każdej iteracji. Również w środowisku Agile narzędzie do zarządzania testami będzie musiało rejestrować wydanie produktu dla każdej iteracji i backlogu.

Wskazówka nr 3 Integracja zewnętrzna

Zautomatyzowane wykonywanie przypadków testowych może znacznie zmniejszyć obciążenie inżynierów testujących. Powinieneś wybrać narzędzie do zarządzania testami, z którym łatwo się integruje narzędzia automatyzacji. Poszukaj możliwości zarządzania skryptami testowymi, a także planowania i uruchamiania testów zarówno lokalnie, jak i na hoście zdalnym. Pożądana jest również możliwość przechowywania wyników testów automatycznych w narzędziu do zarządzania testami. Twoje narzędzie do zarządzania testami musi obsługiwać… ciągła integracja. Główną zaletą narzędzia do zarządzania testami z CI jest to, że testy uruchamiają się automatycznie. Uruchomienie może zostać wywołane na przykład zatwierdzeniem kodu źródłowego przez programistę lub przypadkiem testowym z podstawową automatyzacją testów lub zaplanowanym zadaniem na określony czas. Ciągła integracja różni się czasem, szczegółami, kierunkiem i szczegółowością.

Dla każdego zespołu ds. kontroli jakości integracja pluskwa tracnarzędzie królewskie Bardzo ułatwia proces testowania. Standardowe narzędzie do zarządzania testami, które bezproblemowo integruje się z aplikacją SDLC lub innymi narzędziami do wykrywania błędów. tracNarzędzia takie jak JIRA, BugZilla i Mantis dodają narzędziu dodatkowej wartości. Powinny umożliwiać użytkownikom łączenie błędów, uruchamianie instancji przypadków testowych i scentralizowane zarządzanie procesem testowania oprogramowania. Powinny również umożliwiać całemu zespołowi projektowemu jednoczesną pracę nad jednym problemem.

Integracja Twojego system wsparcia technicznego To ważna funkcja, którą powinno oferować każde narzędzie do zarządzania testami. Oprogramowanie do obsługi klienta, znane również jako system zgłoszeń, pomaga użytkownikom uzyskać natychmiastowe rozwiązanie problemu. Umożliwia klientom przegląd wszystkich otwartych i zamkniętych zgłoszeń.

API Pożądana jest obsługa niestandardowych integracji.

Wskazówka nr 4 Mobilność

Twoje narzędzie do zarządzania testami powinno obsługiwać urządzenia mobilne i tablety.

Wsparcie mobilne jest niezwykle pomocne dla zespołów, które są u klienta, a nie przy biurku, lub dla menedżerów pracujących z zespołami w różnych lokalizacjach geograficznych.

Narzędzie do zarządzania testami musi mieć pełny (nie ograniczony) zestaw funkcji dostępny na urządzeniu mobilnym.

Obsługa wielu urządzeń i mobilnych systemów operacyjnych jest ważna, ponieważ wraz ze wzrostem liczby urządzeń pojawia się więcej złożoności, takich jak lokalizacja, gesty, akcelerometry i problemy z orientacją. W końcu nigdy nie kupujesz telefonu, myśląc, że jest kompatybilny z Twoim narzędziem do zarządzania testami!

Wskazówka nr 5 Wsparcie

Zespół wsparcia dostawcy narzędzia do zarządzania testami powinien być zaangażowany w pomoc swoim klientom na wszelkie możliwe sposoby. Wiele narzędzi do zarządzania testami koncentruje się bardziej na tworzeniu atrakcyjnych stron internetowych i reklam.tracNie więcej klientów. Jednak aby zapewnić ciągłą i powtarzalną działalność, muszą skupić się na zapewnieniu najlepszego wsparcia technicznego.

Najlepsze narzędzie do zarządzania testami powinno mieć takie funkcje jak czat na żywo, rozmowa telefoniczna, często zadawane pytania i podręczniki użytkownika online, informacje o dokumentacji produktu, baza wiedzy, zgłaszanie zgłoszeń do działu pomocy technicznej, itp., aby pomóc swoim klientom.

Wiele narzędzi do zarządzania testami ułatwia również wideokonferencja na żywo Z ekspertami od narzędzi, którzy rozwiążą pytania klientów. Jeśli konferencja na żywo nie jest możliwa, demonstracje lub nagrania wideo związane z narzędziem do zarządzania testami powinny być zawsze dostępne na miejscu i dostępne w dowolnym momencie. Natomiast programiści, jeśli narzędzie oferuje API lub wsparcie integracji niestandardowej, muszą dostarczyć skrypt demonstracyjny i szczegółową dokumentację.

Chociaż wszystkie powyższe kanały wsparcia mogą nie być dostępne dla wszystkich narzędzi, powinieneś wybrać narzędzie, które zapewni Twoje „Korzystny”kanał wsparcia.

Jeszcze jednym ważnym i często zapominanym parametrem jest to, czy dostawca narzędzia jest Skoncentrowany na kliencie? Oto kilka rzeczy, które należy wziąć pod uwagę przy wyborze narzędzia do zarządzania testami:

• Interfejs narzędzia powinien być przyjazny dla użytkownika i zawierać funkcję integracji z klientem
• Powinien obsługiwać wiele języków i wiele stref czasowych
• Powinien mieć możliwość zaawansowanego wyszukiwania

Mamy nadzieję, że ten przewodnik pomoże w wyborze narzędzia, które najlepiej odpowiada Twoim potrzebom testowym! Aby uzyskać bardziej kompleksowe zarządzanie cyklem życia aplikacji, warto zapoznać się z poniższymi informacjami Narzędzia ALM.

FAQ