Vad är pilottestning? Definition, betydelse, exempel

Vad är pilottestning?

Pilotprovning definieras som en typ av programvarutestning som verifierar en komponent i systemet eller hela systemet under realtidsförhållanden. Syftet med pilottestet är att utvärdera genomförbarheten, tiden, kostnaden, risken och prestandan för ett projekt innan det släpps till alla.

Denna testning görs exakt mellan UAT och produktion.

Vid pilottestning testar en utvald grupp slutanvändare systemet och ger feedback innan systemet driftsätts fullt ut. Med andra ord är det en generalrepetition inför det följande användbarhetstestet, och det hjälper till att tidigt upptäcka buggar i systemet.

Diagrammet nedan visar det arrangemanget: den färdiga versionen släpps till en begränsad pilotgrupp och övervakas där, medan den bredare användarbasen stannar kvar på det befintliga systemet tills resultaten är klara.

Pilottestning handlar om att installera ett system på en kundplats (eller en användarsimulerad miljö) för testning mot kontinuerlig och regelbunden användning.

Den vanligaste metoden är att hålla systemet i kontinuerlig användning för att upptäcka dess svaga områden. Dessa svagheter skickas sedan tillbaka till utvecklingsteamet som buggrapporter genom den normala processen. process för felhantering, och felen åtgärdas i nästa systemversion.

Under denna process ingår ibland även acceptanstestning som en del av Test av kompatibilitet. Detta inträffar när ett system utvecklas för att ersätta ett gammalt.

In MjukvaruutvecklingPilottestning besvarar också en kommersiell fråga, nämligen om produkten eller tjänsten har en potentiell marknad.

Varför pilottestning är viktigt

Ett pilottest är den sista möjligheten att lära sig något billigt. Allt efter det är en produktionsincident. Mer specifikt levererar ett pilottest följande:

• Felsöker programvaran och de procedurer som används för att testa och ge support till den.
• Bekräftar om produkten verkligen är redo för fullskalig implementering.
• Stödjer bättre beslut om tid, budget och resursallokering för utrullningen.
• Mäter målgruppens reaktion på produkten eller programmet.
• Mäter programmets framgång mot överenskomna kriterier snarare än åsikter.
• Ger teamet en repetition på de aktiviteter som ska användas under användbarhetstestet.

Hur man gör pilottestning

Nivån på pilottestning beror på storleken och omfattningen av ditt migreringsprojekt. Själva pilottestningen görs i ett dedikerat område eller lab där användare kör många procedurer, transaktioner och rapporter när de simulerar programvarans funktionalitet.

Pilottestning kan genomföras beroende på projektets sammanhang:

• För ett generellt företag kan ett pilottest genomföras med en grupp användare på en uppsättning servrar i ett datacenter.
• För ett webbutvecklingsföretag kan ett pilottest genomföras genom att webbplatsfiler lagras på servrar eller mappar live på internet.
• För kommersiella mjukvaruleverantörer kan ett pilottest genomföras med en speciell grupp av tidiga användare.

Oavsett vilket sammanhang som gäller följer pilottestning en skriftlig testplan som är uppbyggd av fem steg.

Steg 1: Skapa en pilotplan

Steg 2: Förbered dig för pilottestet

Steg 3: Implementera och testa pilottestet

Steg 4: Utvärdera pilottestet

Steg 5: Förbered för produktionsdistribution

Innan man genomför ett pilottest måste följande saker beaktas:

• Ge deltagarna tillräcklig utbildning.
• En utrullningsplan för att driftsätta servrarna och förbereda system för pilotprojektet.
• Dokumentation av installationsprocessen.
• Testskript för varje program. Det består av checklistor över funktioner som ska utföras.
• Ge kontinuerlig feedback till design- och testteamen från användare via e-post eller webbplatser.
• Ställ in utvärderingskriterierna för piloten, som information om antalet användare som var missnöjda, antalet supportsamtal och förfrågningar etc.
• Engagera en arbetsgrupp med samarbetspartners eller intressenter i samhället som har investerat i ditt projekt och som kommer att träffas regelbundet för att diskutera era framsteg.
• Utveckla en utvärderingsplan och utvärderingsinstrument eller verktyg för att samla in nödvändig information om kunskap, förändringar i attityder och beteenden hos pilotgruppen.

Under pilottestet samlar och utvärderar teamet testdata. Baserat på den informationen kommer teamet att välja en av följande strategier.

• Vackla framåt – Distribuera en ny releasekandidat till pilotgruppen.
• Rulla tillbaka – Utför återställningsplanen för att återställa pilotgruppen till dess tidigare konfigurationstillstånd.
• Avbryta – Avbryt pilottestningen.
• Patcha och fortsätt – Distribuera patchar för att åtgärda den befintliga lösningen.
• Distribuera – Fortsätt med en distribution av lösningen.

Återställningsalternativet är anledningen till att en pilot överhuvudtaget är värd att köra, så återställningsvägen måste övas på samma sätt som återhämtningstestning övar på hantering av fel, snarare än att skrivas ner och antas fungera.

Inträdes- och utgångskriterier för pilottestning

Ett pilotprojekt utan överenskomna kriterier förvandlas till ett gräl om åsikter när feedbacken väl kommer in. Båda uppsättningarna kriterier godkänns innan den första användaren loggar in.

Inträdeskriterier – pilotprojektet kan starta när:

• Användaracceptanstestningen är slutförd och ingen öppen defekt har en allvarlighetsgrad som blockerar det dagliga arbetet.
• Pilotmiljön speglar produktionen vad gäller konfiguration, datavolym och integrationer.
• Pilotgruppen har valts ut, utbildats och informerats om övningens syfte och varaktighet.
• En testad återställningsplan och en supportkontakt finns under pilotperioden.

Avslutningskriterier – pilotprojektet avslutas när de överenskomna mätningarna är tillgängliga, vanligtvis:

• Fel räknas efter allvarlighetsgrad, med tröskeln över vilken utrullningen skjuts upp.
• Uppgiftsslutförande och felfrekvenser för de affärsprocesser som systemet stöder.
• Prestanda mätt mot baslinjen för det system som ersätts.
• Supportbelastning, såsom antalet samtal eller ärenden som genereras per användare per vecka.
• Användarnöjdhet insamlad genom en strukturerad undersökning snarare än informella kommentarer.

Dessa mätningar ger underlag för ett enskilt beslut om att gå eller inte gå, och samma siffror ger vanligtvis underlag för det bredare riskbaserad testning bedömning som avgör hur mycket extra täckning utgåvan behöver innan den är allmänt tillgänglig.

Pilottestning kontra Betatestning

De två aktiviteterna förväxlas ofta eftersom båda ställer ofärdig programvara framför användarna. Skillnaden är kontroll: en pilotversion är en uppmätt testperiod inom en definierad grupp, medan en betaversion är en öppen version som samlar in volymfeedback.

Aspect	Pilottestning	Betatestning
publik	En utvald, representativ grupp på en känd plats	Varje medlem av allmänheten som väljer att delta
Miljö	Produktionsliknande miljö kontrollerad av teamet	Användarens egna enheter och nätverk
Tidpunkten	Efter användaracceptanstestning, före utrullning	Efter pilotavsnittet, närmare allmän release
Syfte	Bevisa genomförbarhet, kostnad, risk och beredskap för driftsättning	Samla in bred feedback och avslöja sällsynta miljöproblem
Mätning	Formella in- och utträdeskriterier med överenskomna mätvärden	Rapporterade problem och användningstelemetri
rollback	Planerat och repeterat för pilotgruppen	Användare avinstallerar eller återställer på egen hand

Pilottestning skiljer sig lika mycket från testning av användaracceptans, som frågar om systemet uppfyller de överenskomna kraven, och från alfatestning, vilket sker internt innan någon kund ser bygget.

Fördelar och nackdelar med pilottestning

Avvägningen är enkel: en pilot köper bevis och betalar för dessa bevis med tidsplan och samordningsinsatser.

Fördelar	Nackdelar
Exponerar defekter under verkliga användningsmönster som ett laboratorium inte kan reproducera	Lägger till en fas i schemat mellan UAT och release
Validerar installationssteg, utbildningsmaterial och supportprocedurer	Kräver en produktionsliknande miljö och dedikerad support
Producerar välgrundade bevis för beslutet att gå eller inte gå	Resultaten är bara så representativa som den valda pilotgruppen
Begränsar explosionsradien för ett fel till en grupp snarare än varje användare	En kort pilot kan missa månadsslut, toppbelastning och säsongsbetonat beteende
Bygger intressenternas förtroende inför den bredare utrullningen	Deltagare kan tveka att rapportera problem i sitt eget arbete

Båda kolumnerna argumenterar för att behandla pilotprojektet som en schemalagd fas inuti livscykel för mjukvarutestning med sin egen plan och ägare, snarare än som en informell blötläggningsperiod som läggs till i slutet av systemtestning.

God praxis för pilottestning

• Schemalägg pilottestet två dagar före användbarhetstestet.
• Initiera inte pilottestet förrän alla användare, kunder och projektgruppen är överens om kriterierna för ett lyckat resultat.
• Be användarna att markera eventuella problem på sina kopior av material, beskriva sina problem och ge förslag (om de har några) för förbättringar.
• Informera användarna om pilotprojektets syfte, längd och framsteg.
• Välj deltagare som återspeglar den verkliga användarpopulationen, inklusive de mindre säkra, eftersom en grupp entusiaster rapporterar ett smickrande resultat.
• För en enda logg över problem, feedback och beslut så att utträdesgranskningen fungerar utifrån en enda post.

Två ytterligare metoder kommer från själva miljön. Täck pilotgruppens enhet, webbläsare och operativsystem så noggrant som möjligt. konfigurationstestning skulle, och bekräfta att dagliga operationer som säkerhetskopiering, övervakning och batchjobb fungerar, vilket är grunden för operativ acceptanstestning.

Exempel på pilottestning

Följande är några vanliga exempel på pilottestning:

• Microsoft kör Windows Insiderprogram, släpper förhandsversion Windows versioner till frivilliga kanaler innan dessa versioner blir allmänt tillgängliga.
• Google kör Android Betaprogram, som registrerar stödda Pixel-enheter för testversioner av förhandsversioner Android byggs inför den offentliga lanseringen.
• HP driver pilotprogram online för sina produkter och tjänster.

Varje exempel har samma form: en begränsad, självvald population kör den verkliga produkten, telemetri och feedbackflöde tillbaka till leverantören, och den bredare utgåvan väntar på dessa bevis. Var tekniken placerar sig bland de andra tillgängliga metoderna anges i typer av mjukvarutestning.

Vanliga frågor