Što je pilot testiranje? Definicija, značenje, primjeri

Što je pilot testiranje?

Pilot testiranje definira se kao vrsta testiranja softvera koja provjerava komponentu sustava ili cijeli sustav u uvjetima rada u stvarnom vremenu. Svrha pilotnog testiranja je procijeniti izvedivost, vrijeme, troškove, rizik i performanse projekta prije nego što se objavi svima.

Ovo se testiranje provodi točno između UAT-a i proizvodnje.

U pilotnom testiranju, odabrana skupina krajnjih korisnika isprobava sustav koji se testira i daje povratne informacije prije potpunog uvođenja sustava. Drugim riječima, to je generalna proba za test upotrebljivosti koji slijedi i pomaže u ranom otkrivanju grešaka u sustavu.

Donji dijagram prikazuje taj raspored: gotova verzija se objavljuje ograničenoj pilotnoj skupini i tamo se prati, dok šira korisnička baza ostaje na postojećem sustavu dok se ne pojave rezultati.

Pilot testiranje odnosi se na instaliranje sustava na mjestu kupca (ili korisničkom simuliranom okruženju) za testiranje u odnosu na kontinuiranu i redovitu upotrebu.

Najčešća metoda je održavanje sustava u kontinuiranoj upotrebi kako bi se otkrile njegove slabe točke. Te se slabosti zatim šalju natrag razvojnom timu kao izvješća o greškama putem uobičajenog proces upravljanja nedostacima, a nedostaci se ispravljaju u sljedećoj verziji sustava.

Tijekom ovog procesa ponekad je testiranje prihvatljivosti također uključeno kao dio Ispitivanje kompatibilnosti. To se događa kada se sustav razvija da zamijeni stari.

In Programsko inženjerstvoPilotno testiranje također odgovara na komercijalno pitanje, naime ima li proizvod ili usluga potencijalno tržište.

Zašto je pilot testiranje važno

Pilot je posljednja prilika da se nešto jeftino nauči. Sve nakon njega je proizvodni incident. Konkretno, pilot testiranje pruža sljedeće:

• Otklanja greške u softveru i postupcima koji se koriste za njegovo testiranje i podršku.
• Potvrđuje je li proizvod zaista spreman za potpunu implementaciju.
• Podržava bolje odluke o vremenu, proračunu i raspodjeli resursa za implementaciju.
• Mjeri reakciju ciljane populacije na proizvod ili program.
• Mjeri uspjeh programa prema dogovorenim kriterijima, a ne prema mišljenju.
• Daje timu probu aktivnosti koje će koristiti tijekom testa upotrebljivosti.

Kako napraviti pilot testiranje

Razina pilot testiranja ovisi o veličini i opsegu vašeg projekta migracije. Stvarno pilot testiranje provodi se u namjenskom području ili laboratoriju gdje korisnici pokreću brojne procedure, transakcije i izvješća dok simuliraju funkcionalnost softvera.

Pilotno testiranje može se provesti ovisno o kontekstu projekta:

• Za opće poslovno poduzeće, pilotni test može se provesti s grupom korisnika na skupu poslužitelja u podatkovnom centru.
• Za tvrtke za web razvoj, pilot testiranje može se provesti hostiranjem datoteka web-mjesta na pripremnim poslužiteljima ili mapama uživo na internetu.
• Za prodavače komercijalnog softvera, pilot test se može provesti s posebnom skupinom ranih korisnika.

Bez obzira na kontekst, pilotno testiranje slijedi pisani plan testiranja izgrađen od pet koraka.

Korak 1: Izradite pilotni plan

Korak 2: Pripremite se za pilotno testiranje

Korak 3: Implementirajte i testirajte pilotni test

Korak 4: Procijenite pilotni test

Korak 5: Priprema za implementaciju u produkciji

Prije provođenja pilotnog testiranja potrebno je uzeti u obzir sljedeće:

• Osigurati odgovarajuću obuku polaznicima.
• Plan implementacije za implementaciju servera i pripremu sustava za pilotni projekt.
• Dokumentacija procesa instalacije.
• Testiranje skripti za svaku softversku aplikaciju. Sastoji se od kontrolnih popisa funkcija koje treba izvršiti.
• Pružite stalne povratne informacije timovima za dizajn i testiranje od korisnika putem e-pošte ili web stranica.
• Postavite kriterije ocjenjivanja za pilot, poput informacija o broju korisnika koji su bili nezadovoljni, broju poziva i zahtjeva za podršku itd.
• Uključite radnu skupinu partnera u zajednici ili dionika koji su uložili u vaš projekt i koji će se redovito sastajati kako bi raspravljali o vašem napretku.
• Razviti plan evaluacije i instrumente ili alate za evaluaciju kako bi se prikupile potrebne informacije o znanju, promjenama u stavovima i ponašanju pilotne skupine.

Tijekom pilotnog testiranja, tim prikuplja i procjenjuje podatke o testiranju. Na temelju tih podataka, tim će odabrati jednu od sljedećih strategija.

• Teturati naprijed – Implementirajte novog kandidata za izdanje u pilot grupu.
• Vrati se – Izvršite plan vraćanja u prethodno stanje kako biste pilotnu grupu vratili u prethodno stanje konfiguracije.
• Obustaviti – Obustaviti pilotno testiranje.
• Zakrpi i nastavi – Implementirajte zakrpe kako biste popravili postojeće rješenje.
• razviti – Nastavite s implementacijom rješenja.

Mogućnost vraćanja na prethodno stanje je razlog zašto se pilot-projekt uopće isplati pokrenuti, pa se put vraćanja mora uvježbati na isti način kao testiranje oporavka uvježbava rješavanje grešaka, umjesto da se zapiše i pretpostavlja da funkcionira.

Kriteriji ulaska i izlaska iz pilot testiranja

Pilot bez dogovorenih kriterija pretvara se u raspravu o mišljenjima nakon što stignu povratne informacije. Oba seta kriterija odobravaju se prije nego što se prvi korisnik prijavi.

Kriteriji za ulazak – pilot-projekt može započeti kada:

• Testiranje prihvatljivosti korisnika je završeno i nijedan otvoreni nedostatak nema ozbiljnost koja bi blokirala svakodnevni rad.
• Pilotno okruženje odražava proizvodnju u konfiguraciji, količini podataka i integracijama.
• Pilotna skupina je odabrana, obučena i obaviještena o svrsi i trajanju vježbe.
• Za pilotno razdoblje postoji testirani plan vraćanja na prethodno stanje i kontakt za podršku.

Izlazni kriteriji – pilotni projekt završava kada su dostupna dogovorena mjerenja, obično:

• Broj nedostataka se određuje prema ozbiljnosti, s pragom iznad kojeg se uvođenje odgađa.
• Stope dovršetka zadataka i pogreške za poslovne procese koje sustav podržava.
• Performanse mjerene u odnosu na osnovnu liniju sustava koji se zamjenjuje.
• Opterećenje podrške, kao što je broj poziva ili zahtjeva za podršku po korisniku tjedno.
• Zadovoljstvo korisnika prikupljeno putem strukturirane ankete, a ne neformalnih komentara.

Ta mjerenja doprinose pojedinačnoj odluci o tome hoće li se uspjeti ili ne, a isti brojevi obično doprinose širem testiranje na temelju rizika procjena koja određuje koliko dodatne pokrivenosti je potrebno izdanju prije opće dostupnosti.

Pilot testiranje u odnosu na beta testiranje

Te se dvije aktivnosti često miješaju jer obje stavljaju nedovršeni softver pred korisnike. Razlika je u kontroli: pilot je izmjereno ispitivanje unutar definirane skupine, dok je beta otvoreno izdanje koje prikuplja povratne informacije o količini.

Aspekt	Pilot testiranje	Beta testiranje
publika	Odabrana, reprezentativna skupina na poznatom mjestu	Svaki član javnosti koji se prijavi
okolina	Okruženje slično produkcijskom, kontrolirano od strane tima	Korisnikovi vlastiti uređaji i mreže
Termin	Nakon testiranja prihvatljivosti od strane korisnika, prije implementacije	Nakon pilota, bliže općem izlasku
Svrha	Dokažite izvedivost, trošak, rizik i spremnost za implementaciju	Prikupite široku paletu povratnih informacija i otkrijte rijetke probleme s okolišem
Mjerenje	Formalni kriteriji za ulazak i izlazak s dogovorenim metrikama	Prijavljeni problemi i telemetrija korištenja
povrat na staro	Planirano i uvježbano za pilotnu grupu	Korisnici sami deinstaliraju ili vraćaju na prethodno stanje

Pilotno testiranje je podjednako različito od testiranje prihvatljivosti korisnika, koji pita ispunjava li sustav dogovorene zahtjeve, i od alfa testiranje, što se događa interno prije nego što bilo koji kupac vidi konstrukciju.

Prednosti i nedostaci pilotnog testiranja

Kompromis je jednostavan: pilot kupuje dokaze i plaća za te dokaze rasporedom i koordinacijskim naporima.

Prednosti	Nedostaci
Otkriva nedostatke u stvarnim obrascima korištenja koje laboratorij ne može reproducirati	Dodaje fazu rasporedu između UAT-a i izdanja
Potvrđuje korake instalacije, materijale za obuku i postupke podrške	Zahtijeva okruženje slično produkcijskom i namjensku podršku
Pruža izmjerene dokaze za odluku o tome hoće li se ići ili neće	Rezultati su reprezentativni samo onoliko koliko je reprezentativna odabrana pilotna skupina
Ograničava radijus eksplozije kvara na jednu grupu, a ne na svakog korisnika	Kratki pilotni projekt može propustiti ponašanje na kraju mjeseca, vršno opterećenje i sezonsko ponašanje
Izgrađuje povjerenje dionika prije šireg uvođenja	Sudionici mogu oklijevati prijaviti probleme u vlastitom radu uživo

Oba stupca zalažu se za tretiranje pilot-projekta kao planirane faze unutar životni ciklus testiranja softvera s vlastitim planom i vlasnikom, a ne kao neformalno razdoblje opuštanja dodano kraju testiranje sustava.

Dobra praksa za pilot testiranje

• Zakažite pilot test dva dana prije testa upotrebljivosti.
• Ne započinjite pilot testiranje dok se svi korisnici, kupci i projektni tim ne dogovore o kriterijima za uspješan rezultat.
• Zamolite korisnike da označe probleme na svojim kopijama materijala, opišu svoje probleme i daju prijedloge (ako ih imaju) za poboljšanje.
• Obavijestite korisnike o svrsi, trajanju i napretku pilot-projekta.
• Odaberite sudionike koji odražavaju stvarnu korisničku populaciju, uključujući i one manje samouvjerene, jer skupina entuzijasta izvještava o laskavom rezultatu.
• Vodite jedinstveni zapis problema, povratnih informacija i odluka kako bi pregled završnog rada funkcionirao iz jednog zapisa.

Dvije daljnje prakse dolaze iz samog okruženja. Pažljivo pokrijte uređaje, preglednike i operativne sustave pilotne grupe. testiranje konfiguracije bi, i potvrditi da se svakodnevne operacije poput sigurnosnih kopija, praćenja i serijskih poslova ponašaju ispravno, što je područje koje pokriva operativno primopredajno ispitivanje.

Primjer pilot testiranja

Slijedi nekoliko uobičajenih primjera pilot testiranja:

• Microsoft pokreće Windows Insider program, izdavanje predizdanja Windows verzije na volonterske kanale prije nego što te verzije postanu općom dostupnošću.
• Google pokreće Android Beta program, koji prijavljuje podržane Pixel uređaje za probno predizdanje Android gradi prije javnog objavljivanja.
• HP provodi online pilot programe za svoje proizvode i usluge.

Svaki primjer dijeli isti oblik: ograničena, samoodabrana populacija pokreće stvarni proizvod, telemetriju i povratne informacije vraćaju dobavljaču, a šire izdanje čeka na te dokaze. Mjesto tehnike među ostalim dostupnim pristupima navedeno je u vrste testiranja softvera.

Pitanja i odgovori