Co to są testy pilotażowe? Definicja, znaczenie, przykłady
Tomasza Hamiltona
⚡ Inteligentne podsumowanie
Testowanie pilotażowe polega na udostępnieniu działającego systemu wybranej grupie rzeczywistych użytkowników w rzeczywistych warunkach działania, co pozwala na weryfikację wykonalności, kosztów, ryzyka i wydajności w okresie pomiędzy testami akceptacyjnymi użytkowników a pełnym wdrożeniem produkcyjnym.
Co to są testy pilotażowe?
Badania pilotażowe Testowanie pilotażowe definiuje się jako rodzaj testowania oprogramowania, który weryfikuje komponent systemu lub cały system w warunkach działania w czasie rzeczywistym. Celem testu pilotażowego jest ocena wykonalności, czasu, kosztów, ryzyka i wydajności projektu przed jego udostępnieniem wszystkim użytkownikom.
Testowanie to odbywa się dokładnie pomiędzy UAT a produkcją.
W testach pilotażowych wybrana grupa użytkowników końcowych testuje system i przekazuje mu informacje zwrotne przed pełnym wdrożeniem. Innymi słowy, jest to próba generalna przed testem użyteczności, który ma nastąpić później, i pomaga we wczesnym wykrywaniu błędów w systemie.
Poniższy diagram ilustruje tę konfigurację: ukończona wersja jest udostępniana ograniczonej grupie pilotażowej i tam monitorowana, natomiast szersza grupa użytkowników pozostaje w istniejącym systemie do momentu uzyskania wyników.
Testy pilotażowe polegają na zainstalowaniu systemu w siedzibie klienta (lub w środowisku symulowanym przez użytkownika) w celu przetestowania go pod kątem ciągłego i regularnego użytkowania.
Najpopularniejszą metodą jest ciągłe utrzymywanie systemu w użyciu w celu wykrycia jego słabych punktów. Słabości te są następnie przesyłane do zespołu programistów jako raporty o błędach w ramach standardowej procedury. proces zarządzania defektami, a błędy zostaną naprawione w następnej wersji systemu.
W trakcie tego procesu czasami uwzględniane są także testy akceptacyjne Testowanie kompatybilności. Dzieje się tak, gdy opracowywany jest system w celu zastąpienia starego.
In Inżynieria oprogramowaniaTestowanie pilotażowe pozwala również odpowiedzieć na pytanie komercyjne, mianowicie czy dany produkt lub usługa ma potencjalny rynek zbytu.
Dlaczego testy pilotażowe są ważne
Pilot to ostatnia okazja, żeby nauczyć się czegoś tanio. Wszystko, co się potem wydarzy, to incydent produkcyjny. Test pilotażowy zapewnia w szczególności:
- Debuguje oprogramowanie i procedury służące do jego testowania i obsługi technicznej.
- Potwierdza, czy produkt jest rzeczywiście gotowy do wdrożenia na pełną skalę.
- Wspiera podejmowanie lepszych decyzji dotyczących czasu, budżetu i alokacji zasobów na potrzeby wdrożenia.
- Mierzy reakcję grupy docelowej na produkt lub program.
- Mierzy sukces programu według ustalonych kryteriów, a nie opinii.
- Umożliwia zespołowi przećwiczenie czynności, które zostaną wykorzystane podczas testu użyteczności.
Jak przeprowadzić testy pilotażowe
Poziom testów pilotażowych zależy od wielkości i zakresu projektu migracji. Rzeczywiste testy pilotażowe przeprowadzane są w wydzielonym obszarze lub laboratorium, w którym użytkownicy przeprowadzają liczne procedury, transakcje i raporty symulując funkcjonalność oprogramowania.
Testowanie pilotażowe może być przeprowadzone w zależności od kontekstu projektu:
- W przypadku ogólnego przedsiębiorstwa test pilotażowy można przeprowadzić z udziałem grupy użytkowników na zestawie serwerów w centrum danych.
- W przypadku przedsiębiorstw zajmujących się tworzeniem stron internetowych test pilotażowy można przeprowadzić, umieszczając pliki witryny na serwerach testowych lub w folderach dostępnych na żywo w Internecie.
- W przypadku komercyjnych dostawców oprogramowania można przeprowadzić test pilotażowy ze specjalną grupą pierwszych użytkowników.
Niezależnie od kontekstu, testy pilotażowe odbywają się według pisemnego planu testów składającego się z pięciu kroków.
Krok 1: Utwórz plan pilotażowy
Krok 2: Przygotuj się do testu pilotażowego
Krok 3: Wdrożenie i przetestowanie testu pilotażowego
Krok 4: Ocena testu pilotażowego
Krok 5: Przygotuj się do wdrożenia produkcyjnego
Przed przeprowadzeniem testów pilotażowych należy wziąć pod uwagę następujące kwestie:
- Zapewnij odpowiednie szkolenie uczestnikom.
- Plan wdrożenia serwerów i przygotowania systemów do pilotażu.
- Dokumentacja procesu instalacji.
- Skrypty testowe dla każdej aplikacji. Składają się z list kontrolnych funkcji do wykonania.
- Stałe przekazywanie zespołom projektowym i testującym informacji zwrotnych od użytkowników za pośrednictwem wiadomości e-mail lub stron internetowych.
- Ustaw kryteria oceny pilotażu, takie jak informacja o liczbie niezadowolonych użytkowników, liczbie wezwań i próśb o wsparcie itp.
- Zaangażuj grupę roboczą złożoną z partnerów społecznych lub interesariuszy, którzy zainwestowali w Twój projekt i będą się regularnie spotykać, aby omawiać postępy.
- Opracuj plan ewaluacji oraz instrumenty lub narzędzia ewaluacyjne, które umożliwią zebranie niezbędnych informacji na temat wiedzy, zmian w postawach i zachowaniach grupy pilotażowej.
Podczas testu pilotażowego zespół gromadzi i analizuje dane testowe. Na podstawie tych danych zespół wybierze jedną z poniższych strategii.
- Ruszaj do przodu – Wdrożenie nowej wersji Release Candidate w grupie pilotażowej.
- Wycofaj się – Wykonaj plan wycofania, aby przywrócić grupę pilotażową do poprzedniego stanu konfiguracji.
- Zawiesić – Zawiesić testy pilotażowe.
- Popraw i kontynuuj – Wdrażanie poprawek w celu naprawy istniejącego rozwiązania.
- Rozmieścić – Przejdź do wdrożenia rozwiązania.
Opcja wycofania jest powodem, dla którego warto w ogóle uruchomić pilota, więc ścieżkę przywracania należy przećwiczyć w taki sam sposób, jak testowanie regeneracji ćwiczy radzenie sobie z porażkami, zamiast pisać to, co się da i zakładać, że zadziała.
Kryteria wejścia i wyjścia dla testów pilotażowych
Pilot bez uzgodnionych kryteriów przeradza się w spór o opinie po otrzymaniu informacji zwrotnej. Oba zestawy kryteriów są zatwierdzane przed zalogowaniem się pierwszego użytkownika.
Kryteria przyjęcia – program pilotażowy może rozpocząć się, gdy:
- Testowanie akceptacji użytkownika jest zakończone i nie ma żadnych otwartych usterek o stopniu istotności uniemożliwiającym codzienną pracę.
- Środowisko pilotażowe odzwierciedla produkcję pod względem konfiguracji, ilości danych i integracji.
- Wybrano i przeszkolono grupę pilotów, poinformowano ich o celu i czasie trwania ćwiczeń.
- W okresie pilotażowym dostępny jest sprawdzony plan wycofania zmian oraz kontakt w sprawie pomocy technicznej.
Kryteria zakończenia – program pilotażowy kończy się, gdy dostępne są uzgodnione pomiary, zazwyczaj:
- Liczba usterek liczona jest według ich wagi. Po przekroczeniu progu wdrożenie zostaje wstrzymane.
- Realizacja zadań i wskaźniki błędów w procesach biznesowych obsługiwanych przez system.
- Wydajność mierzona w stosunku do bazowej wersji wymienianego systemu.
- Obciążenie wsparcia, np. liczba połączeń lub zgłoszeń zgłoszonych przez użytkownika w ciągu tygodnia.
- Satysfakcja użytkowników została sprawdzona za pomocą ankiety strukturalnej, a nie nieformalnych komentarzy.
Pomiary te przyczyniają się do podjęcia pojedynczej decyzji o kontynuowaniu lub zaniechaniu, a te same liczby zwykle przyczyniają się do szerszej decyzji. testowanie oparte na ryzyku ocena określająca, ile dodatkowego zasięgu wymaga dane wydanie przed jego ogólną dostępnością.
Testowanie pilotażowe a testowanie beta
Te dwie czynności są często mylone, ponieważ obie udostępniają użytkownikom niedokończone oprogramowanie. Różnica polega na kontroli: pilotaż to test przeprowadzony w określonej grupie, podczas gdy beta to otwarta wersja, która zbiera opinie na temat dużej liczby użytkowników.
| WYGLĄD | Badania pilotażowe | Testowanie beta |
|---|---|---|
| Publiczność | Wybrana, reprezentatywna grupa w znanym miejscu | Każdy członek społeczeństwa, który wyrazi zgodę |
| Środowisko | Środowisko przypominające produkcję, kontrolowane przez zespół | Urządzenia i sieci użytkownika |
| Chronometraż | Po testach akceptacji użytkownika, przed wdrożeniem | Po odcinku pilotażowym bliżej premiery |
| Cel | Udowodnij wykonalność, koszty, ryzyko i gotowość do wdrożenia | Zbierz szeroką informację zwrotną i ujawnij rzadkie problemy środowiskowe |
| Pomiary | Formalne kryteria wejścia i wyjścia z ustalonymi wskaźnikami | Zgłoszone problemy i dane telemetryczne dotyczące użytkowania |
| Wycofywanie | Zaplanowane i przećwiczone dla grupy pilotażowej | Użytkownicy sami odinstalowują lub przywracają |
Testowanie pilotażowe różni się równie mocno od testy akceptacyjne użytkownika, w którym zadawane jest pytanie, czy system spełnia uzgodnione wymagania, i od testy alfa, które odbywa się na miejscu, zanim klient zobaczy produkt.
Zalety i wady testów pilotażowych
Kompromis jest prosty: pilot kupuje dowody i płaci za nie, dostosowując harmonogram i podejmując wysiłki koordynacyjne.
| Zalety | Wady |
|---|---|
| Ujawnia defekty w rzeczywistych wzorcach użytkowania, których laboratorium nie jest w stanie odtworzyć | Dodaje fazę do harmonogramu pomiędzy UAT a wydaniem |
| Sprawdza poprawność kroków instalacji, materiałów szkoleniowych i procedur wsparcia | Wymaga środowiska produkcyjnego i dedykowanego wsparcia |
| Tworzy zmierzone dowody na decyzję o kontynuowaniu lub zaniechaniu | Wyniki są reprezentatywne tylko w takim stopniu, w jakim wybrana została grupa pilotażowa |
| Ogranicza promień rażenia awarii do jednej grupy, a nie do każdego użytkownika | Krótki pilotaż może powodować pominięcie zachowań związanych z końcem miesiąca, szczytem obciążenia i sezonowością |
| Buduje zaufanie interesariuszy przed szerszym wdrożeniem | Uczestnicy mogą wahać się przed zgłaszaniem problemów w swojej pracy na żywo |
W obu kolumnach argumentowano za traktowaniem pilota jako zaplanowanej fazy w ramach cykl życia testowania oprogramowania z własnym planem i właścicielem, a nie jako nieformalny okres moczenia dodawany na koniec testowanie systemu.
Dobra praktyka w zakresie testów pilotażowych
- Zaplanuj test pilotażowy na dwa dni przed testem użyteczności.
- Nie rozpoczynaj testu pilotażowego, dopóki wszyscy użytkownicy, klienci i zespół projektowy nie uzgodnią kryteriów pomyślnego wyniku.
- Poproś użytkowników, aby zaznaczyli wszelkie problemy na swoich kopiach materiałów, opisali swoje obawy i zaproponowali sugestie (jeśli takie mają) dotyczące ulepszeń.
- Poinformuj użytkowników o celu, czasie trwania i postępach projektu pilotażowego.
- Wybierz uczestników, którzy odzwierciedlają rzeczywistą populację użytkowników, w tym tych mniej pewnych siebie, ponieważ grupa entuzjastów zgłosiła pochlebne wyniki.
- Prowadź pojedynczy rejestr problemów, opinii i decyzji, aby przegląd końcowy odbywał się w oparciu o jeden zapis.
Dwie kolejne praktyki pochodzą z samego środowiska. Należy jak najdokładniej zbadać rozprzestrzenianie się urządzenia, przeglądarki i systemu operacyjnego grupy pilotażowej. testowanie konfiguracji i potwierdzić, że codzienne operacje, takie jak tworzenie kopii zapasowych, monitorowanie i zadania wsadowe, zachowują się w sposób, który jest objęty testy akceptacyjne operacyjne.
Przykład testów pilotażowych
Poniżej przedstawiono kilka typowych przykładów testów pilotażowych:
- Microsoft uruchamia Windows Insider Program, wydawanie wersji przedpremierowych Windows kompilacje do kanałów wolontariackich zanim te kompilacje staną się ogólnodostępne.
- Google uruchamia Android Program beta, który rejestruje obsługiwane urządzenia Pixel w ramach testów przedpremierowych Android kompilacje przed publiczną premierą.
- Firma HP prowadzi internetowe programy pilotażowe dla swoich produktów i usług.
Każdy przykład ma tę samą formę: ograniczona, samodzielnie wyselekcjonowana populacja uruchamia rzeczywisty produkt, dane telemetryczne i przepływ informacji zwrotnej do dostawcy, a szersze wydanie opiera się na tych dowodach. Miejsce tej techniki wśród innych dostępnych podejść zostało określone w rodzaje testowania oprogramowania.
