Co je pilotní testování? Definice, význam, příklady

Co je pilotní testování?

Pilotní testování je definováno jako typ testování softwaru, které ověřuje komponentu systému nebo celý systém v reálných provozních podmínkách. Účelem pilotního testu je vyhodnotit proveditelnost, čas, náklady, rizika a výkon projektu před jeho vydáním všem.

Toto testování se provádí přesně mezi UAT a Production.

V pilotním testování si vybraná skupina koncových uživatelů vyzkouší testovaný systém a poskytne zpětnou vazbu před jeho plným nasazením. Jinými slovy, jedná se o generální zkoušku na následující test použitelnosti, která pomáhá včas odhalit chyby v systému.

Níže uvedený diagram znázorňuje toto uspořádání: hotová verze je vydána omezené pilotní skupině a tam je monitorována, zatímco širší uživatelská základna zůstává na stávajícím systému, dokud nebudou k dispozici výsledky.

Pilotní testování se týká instalace systému na místě zákazníka (nebo prostředí simulovaného uživatelem) pro testování proti nepřetržitému a pravidelnému používání.

Nejběžnější metodou je udržovat systém v nepřetržitém provozu, aby se zjistily jeho slabé stránky. Tyto slabiny jsou pak zasílány zpět vývojovému týmu jako hlášení chyb prostřednictvím běžného systému. proces správy vada vady jsou opraveny v další verzi systému.

Během tohoto procesu je někdy součástí akceptačního testování Testování kompatibility. K tomu dochází, když se vyvíjí systém, který nahradí starý.

In Softwarové inženýrstvíPilotní testování také odpovídá na komerční otázku, konkrétně na to, zda má produkt nebo služba potenciální trh.

Proč je pilotní testování důležité

Pilotní test je poslední příležitostí, jak se něco levně naučit. Všechno po něm je produkční incident. Konkrétně pilotní test přináší následující:

• Ladí software a postupy používané k jeho testování a podpoře.
• Potvrzuje, zda je produkt skutečně připraven k plnohodnotné implementaci.
• Podporuje lepší rozhodování o čase, rozpočtu a alokaci zdrojů pro zavádění.
• Měří reakci cílové populace na produkt nebo program.
• Měří úspěšnost programu spíše na základě dohodnutých kritérií než na základě názorů.
• Dává týmu nacvičit si aktivity, které použije během testu použitelnosti.

Jak provést pilotní testování

Úroveň pilotního testování závisí na velikosti a rozsahu vašeho projektu migrace. Vlastní pilotní testování se provádí ve vyhrazené oblasti nebo laboratoři, kde uživatelé spouštějí četné procedury, transakce a zprávy, zatímco simulují funkčnost softwaru.

Pilotní testování lze provést v závislosti na kontextu projektu:

• Pro běžný podnik lze pilotní test provést se skupinou uživatelů na sadě serverů v datovém centru.
• Pro webové vývojářské firmy lze pilotní test provést hostováním souborů webu na testovacích serverech nebo složkách umístěných na internetu.
• U komerčních dodavatelů softwaru lze provést pilotní test se speciální skupinou prvních uživatelů.

Ať už je kontext platný jakýkoli, pilotní testování se řídí písemným testovacím plánem sestaveným z pěti kroků.

Krok 1: Vytvořte pilotní plán

Krok 2: Příprava na pilotní test

Krok 3: Nasazení a otestování pilotního testu

Krok 4: Vyhodnocení pilotního testu

Krok 5: Příprava na nasazení v produkčním prostředí

Před provedením pilotního testování je třeba zvážit následující:

• Zajistěte účastníkům odpovídající školení.
• Plán nasazení serverů a přípravy systémů pro pilotní projekt.
• Dokumentace procesu instalace.
• Testovací skripty pro každou softwarovou aplikaci. Skládá se z kontrolních seznamů funkcí, které mají být provedeny.
• Poskytujte neustálou zpětnou vazbu designérským a testovacím týmům od uživatelů prostřednictvím e-mailů nebo webových stránek.
• Nastavte hodnotící kritéria pro pilotní projekt, jako jsou informace o počtu uživatelů, kteří byli nespokojeni, počet hovorů a žádostí o podporu atd.
• Zapojte pracovní skupinu komunitních partnerů nebo zainteresovaných stran, které do vašeho projektu investovaly a budou se pravidelně scházet, aby prodiskutovaly váš pokrok.
• Vypracovat plán hodnocení a nástroje nebo pomůcky pro zachycení potřebných informací o znalostech, změnách v postojích a chování pilotní skupiny.

Během pilotního testu tým shromažďuje a vyhodnocuje testovací data. Na základě těchto dat si tým zvolí jednu z následujících strategií.

• Potáhni se vpřed – Nasaďte nového kandidáta na verzi do pilotní skupiny.
• vrátit zpět – Proveďte plán vrácení zpět k předchozímu stavu konfigurace pilotní skupiny.
• Pozastavit – Pozastavit pilotní testování.
• Opravit a pokračovat – Nasaďte záplaty pro opravu stávajícího řešení.
• Nasazení – Pokračovat k nasazení řešení.

Možnost vrácení zpět je důvodem, proč se pilotní projekt vůbec vyplatí spustit, takže cesta obnovy musí být nacvičena stejným způsobem jako testování obnovy nacvičuje si řešení chyb, spíše než aby to bylo zapsáno a předpokládáno, že to funguje.

Vstupní a výstupní kritéria pro pilotní testování

Pilotní projekt bez dohodnutých kritérií se po obdržení zpětné vazby změní v hádku o názorech. Obě sady kritérií jsou schváleny ještě před přihlášením prvního uživatele.

Vstupní kritéria – pilotní projekt může začít, když:

• Testování akceptace uživatelem je dokončeno a žádná otevřená vada nemá závažnost, která by blokovala každodenní práci.
• Pilotní prostředí odráží produkci v konfiguraci, objemu dat a integracích.
• Pilotní skupina byla vybrána, proškolena a sdělena jí účel a trvání cvičení.
• Pro pilotní období existuje otestovaný plán vrácení produktů zpět a kontakt na podporu.

Kritéria ukončení – pilotní projekt končí, jakmile jsou k dispozici dohodnutá měření, obvykle:

• Počty vad podle závažnosti s prahovou hodnotou, nad kterou je zavedení odloženo.
• Míra dokončení úkolů a chybovost v obchodních procesech, které systém podporuje.
• Výkon měřený oproti základnímu stavu nahrazovaného systému.
• Zatížení podpory, například počet hovorů nebo tiketů vydaných na uživatele za týden.
• Spokojenost uživatelů byla shromažďována prostřednictvím strukturovaného průzkumu, nikoli neformálních komentářů.

Tato měření slouží jako podklad pro jednorázové rozhodnutí, zda se má nebo nemá, a stejná čísla obvykle slouží jako podklad pro širší testování založené na riziku posouzení, které určuje, kolik dalšího pokrytí verze potřebuje před všeobecnou dostupností.

Pilotní testování vs. beta testování

Tyto dvě aktivity se často zaměňují, protože obě uživatelům představují nedokončený software. Rozdíl spočívá v kontrole: pilotní verze je měřená zkušební verze v rámci definované skupiny, zatímco beta verze je otevřené vydání, které shromažďuje zpětnou vazbu od velkého množství uživatelů.

Vzhled	Pilotní testování	Beta testování
Publikum	Vybraná, reprezentativní skupina na známém místě	Každý člen veřejnosti, který se přihlásí
životní prostředí	Prostředí podobné produkčnímu, řízené týmem	Vlastní zařízení a sítě uživatele
Načasování	Po uživatelském akceptačním testování, před spuštěním	Po pilotním dílu, blíže k vydání pro veřejnost
Účel	Prokázat proveditelnost, náklady, riziko a připravenost k nasazení	Shromážděte širokou zpětnou vazbu a odhalte vzácné problémy s prostředím
a) Měření dodržování pokynů	Formální vstupní a výstupní kritéria s dohodnutými metrikami	Hlášené problémy a telemetrie využití
Rollback	Naplánováno a nacvičeno pro pilotní skupinu	Uživatelé si sami odinstalují nebo se vrátí do předchozího nastavení

Pilotní testování se stejně liší od testování přijetí uživatele, který se ptá, zda systém splňuje dohodnuté požadavky, a z alfa testování, což se děje interně, ještě než si zákazník prohlédne stavbu.

Výhody a nevýhody pilotního testování

Kompromis je jednoduchý: pilot si zakoupí důkazy a za ně pak zaplatí s ohledem na harmonogram a koordinaci.

Výhody	Nevýhody
Odhaluje vady v reálných vzorcích používání, které laboratoř nedokáže reprodukovat	Přidá do plánu fázi mezi UAT a vydáním.
Ověřuje kroky instalace, školicí materiály a postupy podpory	Vyžaduje prostředí podobné produkčnímu a specializovanou podporu
Poskytuje měřitelné důkazy pro rozhodnutí, zda jít, či nejít	Výsledky jsou reprezentativní pouze do té míry, do jaké je vybrána pilotní skupina.
Omezuje dosah selhání na jednu skupinu, nikoli na všechny uživatele.	Krátký pilotní projekt může minout chování na konci měsíce, ve špičce a sezónní chování.
Buduje důvěru zúčastněných stran před širším zavedením	Účastníci mohou váhat s hlášením problémů ve své vlastní živé práci.

Oba sloupce argumentují pro to, aby se pilotní projekt považoval za plánovanou fázi v rámci životní cyklus testování softwaru s vlastním plánem a majitelem, spíše než jako neformální odpočinkové období přidané na konec testování systému.

Dobrá praxe pro pilotní testování

• Naplánujte si pilotní test dva dny před testem použitelnosti.
• Nezahájejte pilotní test, dokud se všichni uživatelé, zákazníci a projektový tým nedohodnou na kritériích pro úspěšný výsledek.
• Požádejte uživatele, aby označili jakékoli problémy na svých kopiích materiálů, popsali své obavy a nabídli návrhy (pokud nějaké mají) na zlepšení.
• Informujte uživatele o účelu, délce a průběhu pilotního projektu.
• Vyberte účastníky, kteří odrážejí skutečnou uživatelskou populaci, včetně těch méně sebevědomých, protože skupina nadšenců hlásí lichotivé výsledky.
• Veďte jeden záznam o problémech, zpětné vazbě a rozhodnutích, aby výstupní kontrola fungovala z jednoho zdroje.

Dva další postupy vycházejí ze samotného prostředí. Co nejpečlivěji prozkoumejte rozšíření zařízení, prohlížečů a operačních systémů pilotní skupiny. testování konfigurace by a potvrdilo, že každodenní operace, jako je zálohování, monitorování a dávkové úlohy, probíhají správně, což je oblast, kterou pokrývá provozní přejímací zkoušky.

Příklad pilotního testování

Níže jsou uvedeny některé běžné příklady pilotního testování:

• Microsoft běží Windows Insider Program, vydání předběžné verze Windows sestavení do dobrovolnických kanálů, než se tato sestavení stanou všeobecně dostupnými.
• Google běží Android Beta Program, která registruje podporovaná zařízení Pixel do zkušební předběžné verze Android se staví před veřejným vydáním.
• Společnost HP provozuje online pilotní programy pro své produkty a služby.

Každý příklad má stejný tvar: omezená, samovybraná populace spustí skutečný produkt, telemetrii a zpětnou vazbu zpět k dodavateli a širší verze čeká na tyto důkazy. Místo této techniky mezi ostatními dostupnými přístupy je uvedeno v typy testování softwaru.

Nejčastější dotazy