Wat is pilottesten? Definitie, betekenis, voorbeelden

Wat is pilottesten?

Pilot testen Een pilottest wordt gedefinieerd als een type softwaretest waarbij een component van het systeem of het gehele systeem wordt geverifieerd onder realtime bedrijfsomstandigheden. Het doel van een pilottest is om de haalbaarheid, de benodigde tijd, de kosten, de risico's en de prestaties van een project te evalueren voordat het voor iedereen beschikbaar wordt gesteld.

Dit testen gebeurt precies tussen de UAT en Productie.

Tijdens een pilotfase test een geselecteerde groep eindgebruikers het te testen systeem en geeft feedback voordat het systeem volledig in gebruik wordt genomen. Met andere woorden, het is een generale repetitie voor de gebruiksvriendelijkheidstest die volgt en het helpt bij het vroegtijdig opsporen van fouten in het systeem.

Het onderstaande diagram illustreert deze opzet: de voltooide versie wordt vrijgegeven aan een beperkte pilotgroep en daar gemonitord, terwijl de rest van de gebruikers het bestaande systeem blijft gebruiken totdat de resultaten bekend zijn.

Pilottesten hebben betrekking op het installeren van een systeem op de locatie van een klant (of in een door de gebruiker gesimuleerde omgeving) voor testen bij continu en regelmatig gebruik.

De meest gebruikelijke methode is om het systeem continu in gebruik te houden om de zwakke punten te ontdekken. Deze zwakke punten worden vervolgens via de normale kanalen als bugrapporten teruggestuurd naar het ontwikkelteam. defectbeheerprocesEn de gebreken worden verholpen in de volgende versie van het systeem.

Tijdens dit traject maken soms ook acceptatietesten deel uit van het traject Compatibiliteitstesten. Dit gebeurt wanneer een systeem wordt ontwikkeld ter vervanging van een oud systeem.

In Software EngineeringPilottesten beantwoorden ook een commerciële vraag, namelijk of het product of de dienst een potentiële markt heeft.

Waarom pilottesten belangrijk zijn

Een pilot is de laatste kans om iets goedkoop te leren. Alles wat daarna komt, is een productiefout. Concreet levert een pilottest het volgende op:

• Debugt de software en de procedures die worden gebruikt om deze te testen en te ondersteunen.
• Bevestigt of het product daadwerkelijk klaar is voor grootschalige implementatie.
• Ondersteunt betere beslissingen over tijd, budget en toewijzing van middelen voor de uitrol.
• Meet de reactie van de doelgroep op het product of programma.
• Het succes van het programma wordt gemeten aan de hand van overeengekomen criteria in plaats van meningen.
• Het team kan zo oefenen met de activiteiten die ze tijdens de gebruikstest zullen uitvoeren.

Hoe u pilottests uitvoert

Het niveau van de pilottests is afhankelijk van de omvang en reikwijdte van uw migratieproject. De daadwerkelijke pilottests worden uitgevoerd in een speciale ruimte of laboratorium waar gebruikers talloze procedures, transacties en rapporten uitvoeren terwijl ze de functionaliteit van de software simuleren.

Afhankelijk van de context van het project kunnen pilottests worden uitgevoerd:

• Voor een doorsnee bedrijf kan een pilottest worden uitgevoerd met een groep gebruikers op een aantal servers in een datacenter.
• Voor een webontwikkelingsbedrijf kan een pilottest worden uitgevoerd door websitebestanden op testservers te hosten of mappen live op internet beschikbaar te stellen.
• Voor commerciële softwareleveranciers kan een pilottest worden uitgevoerd met een speciale groep early adopters.

Ongeacht de context, volgt een pilottest een schriftelijk testplan dat uit vijf stappen bestaat.

Stap 1: Een pilotplan opstellen

Stap 2: Voorbereiding op de pilottest

Stap 3: Implementeer en test de pilottest

Stap 4: Evalueer de pilottest

Stap 5: Voorbereiding op de implementatie in productie

Voordat een pilottest wordt uitgevoerd, moet rekening worden gehouden met de volgende zaken:

• Zorg voor een adequate training voor de deelnemers.
• Een uitrolplan voor het plaatsen van de servers en het voorbereiden van de systemen voor de pilot.
• Documentatie van het installatieproces.
• Testscripts voor elke softwareapplicatie. Deze bestaan ​​uit checklists van functies die moeten worden uitgevoerd.
• Geef de ontwerp- en testteams voortdurend feedback van gebruikers via e-mail of websites.
• Stel de evaluatiecriteria voor de pilot vast, zoals informatie over het aantal ontevreden gebruikers, het aantal ondersteuningsoproepen en -verzoeken, enz.
• Stel een werkgroep samen van partners of belanghebbenden uit de gemeenschap die in uw project hebben geïnvesteerd en die regelmatig bijeenkomen om uw voortgang te bespreken.
• Ontwikkel een evaluatieplan en bijbehorende evaluatie-instrumenten of -hulpmiddelen om de benodigde informatie te verzamelen over kennis, veranderingen in houding en gedrag van de pilotgroep.

Tijdens de pilotfase verzamelt en evalueert het team testgegevens. Op basis van die gegevens kiest het team een ​​van de volgende strategieën.

• Wankel naar voren – Implementeer een nieuwe releasekandidaat in de pilotgroep.
• Terugrollen – Voer het terugdraaiplan uit om de pilotgroep terug te zetten naar de vorige configuratietoestand.
• Opschorten – Schort de pilotproeven op.
• Patchen en doorgaan – Implementeer patches om de bestaande oplossing te repareren.
• Implementeren – Ga verder met de implementatie van de oplossing.

De terugdraaioptie is de reden waarom een ​​pilot überhaupt de moeite waard is om uit te voeren, dus het herstelproces moet op dezelfde manier worden geoefend als herstel testen Het oefent het omgaan met fouten, in plaats van dat het is opgeschreven en er vanuit wordt gegaan dat het werkt.

Toelatings- en uittredingscriteria voor pilotproeven

Een pilot zonder overeengekomen criteria ontaardt in een meningsverschil zodra de feedback binnenkomt. Beide sets criteria worden goedgekeurd voordat de eerste gebruiker inlogt.

Toelatingscriteria – de pilot kan van start gaan wanneer:

• De gebruikersacceptatietests zijn afgerond en geen enkel openstaand defect heeft een ernstgraad die de dagelijkse werkzaamheden belemmert.
• De pilotomgeving is qua configuratie, datavolume en integraties een exacte kopie van de productieomgeving.
• De pilotgroep is geselecteerd, getraind en heeft uitleg gekregen over het doel en de duur van de oefening.
• Er is een beproefd terugdraaiplan en een contactpersoon voor ondersteuning beschikbaar voor de pilotperiode.

Eindcriteria – de pilot eindigt wanneer de overeengekomen meetresultaten beschikbaar zijn, doorgaans:

• Het aantal defecten wordt ingedeeld naar ernst, met de drempelwaarde waarboven de uitrol wordt uitgesteld.
• Voltooiingspercentages en foutpercentages voor de bedrijfsprocessen die het systeem ondersteunt.
• De prestaties worden gemeten ten opzichte van de basislijn van het te vervangen systeem.
• De belasting van de ondersteuning, bijvoorbeeld het aantal telefoontjes of tickets dat per gebruiker per week wordt aangemaakt.
• De gebruikerstevredenheid werd gemeten aan de hand van een gestructureerde enquête in plaats van informele opmerkingen.

Die metingen leiden tot één enkele beslissing, namelijk wel of niet doorgaan, en dezelfde cijfers vormen meestal de basis voor een bredere besluitvorming. risicogebaseerd testen Een beoordeling die bepaalt hoeveel extra dekking de release nodig heeft voordat deze algemeen beschikbaar is.

Pilottesten versus bètatesten

De twee activiteiten worden vaak door elkaar gehaald omdat bij beide onafgewerkte software aan gebruikers wordt gepresenteerd. Het verschil zit hem in de controle: een pilot is een gecontroleerde proef binnen een afgebakende groep, terwijl een bètaversie een open release is waarbij feedback van een groot aantal gebruikers wordt verzameld.

Aspect	Pilot testen	Beta testen
Toehoorders	Een geselecteerde, representatieve groep op een bekende locatie.	Iedere burger die zich aanmeldt
Milieu	Productieomgeving, gecontroleerd door het team.	De eigen apparaten en netwerken van de gebruiker
Timing	Na de gebruikerstest, vóór de uitrol.	Na de pilot, dichter bij de algemene release.
Doel	Bewijs de haalbaarheid, de kosten, de risico's en de gereedheid voor implementatie.	Verzamel brede feedback en breng zeldzame milieuproblemen aan het licht.
maat	Formele toelatings- en uittredingscriteria met overeengekomen meetinstrumenten.	Gemelde problemen en gebruikstelemetrie
Rollback	Gepland en geoefend voor de pilotgroep.	Gebruikers verwijderen of herstellen de wijzigingen zelf.

Pilottesten verschillen eveneens van gebruikersacceptatie testen, waarbij de vraag wordt gesteld of het systeem voldoet aan de overeengekomen eisen, en van alfatestenDit gebeurt intern, voordat een klant het eindresultaat te zien krijgt.

Voordelen en nadelen van pilottesten

De afweging is eenvoudig: een pilot koopt bewijsmateriaal en betaalt daarvoor met tijdsinvestering en coördinatiekosten.

Voordelen	Nadelen
Het legt defecten bloot onder realistische gebruiksomstandigheden die in een laboratorium niet te reproduceren zijn.	Voegt een fase toe aan het schema tussen UAT en release.
Valideert de installatiestappen, het trainingsmateriaal en de ondersteuningsprocedures.	Vereist een productieomgeving en toegewijde ondersteuning.
Levert meetbaar bewijs op voor de beslissing om wel of niet door te gaan.	De resultaten zijn slechts zo representatief als de gekozen pilotgroep.
Beperkt de impact van een storing tot één groep in plaats van alle gebruikers.	Een korte pilot kan het einde van de maand, de piekbelasting en het seizoensgebonden gedrag missen.
Vergroot het vertrouwen van belanghebbenden vóór de bredere uitrol.	Deelnemers aarzelen mogelijk om problemen in hun eigen werk te melden.

Beide columns pleiten ervoor om de pilot te behandelen als een geplande fase binnen het geheel. levenscyclus van softwaretests met een eigen plan en eigenaar, in plaats van als een informele inweektijd die aan het einde van systeem testen.

Goede praktijk voor pilottests

• Plan de pilottest twee dagen vóór de usabilitytest.
• Start de pilotfase pas wanneer alle gebruikers, klanten en het projectteam het eens zijn over de criteria voor een succesvol resultaat.
• Vraag gebruikers om eventuele problemen op hun kopieën van materiaal te markeren, hun zorgen te beschrijven en suggesties te doen (als ze die hebben) voor verbetering.
• Informeer gebruikers over het doel, de duur en de voortgang van de pilot.
• Kies deelnemers die de werkelijke gebruikerspopulatie weerspiegelen, inclusief de minder zelfverzekerde gebruikers, omdat een groep enthousiastelingen een gunstiger resultaat rapporteert.
• Houd één logboek bij van problemen, feedback en beslissingen, zodat de afsluitende evaluatie vanuit één enkel document kan worden uitgevoerd.

Twee andere praktijken komen voort uit de omgeving zelf. Breng de verspreiding van apparaten, browsers en besturingssystemen binnen de pilotgroep zo zorgvuldig mogelijk in kaart. configuratietesten zou, en bevestigen dat dagelijkse werkzaamheden zoals back-ups, monitoring en batchtaken naar behoren functioneren, wat het onderwerp is van operationele acceptatietests.

Voorbeeld van pilottesten

Hieronder staan ​​enkele veelvoorkomende voorbeelden van pilottesten:

• Microsoft loopt het Windows Insider-programma, het uitbrengen van een pre-release Windows builds worden naar vrijwilligerskanalen gestuurd voordat deze builds algemeen beschikbaar komen.
• Google loopt het Android Beta-programma, waarmee ondersteunde Pixel-apparaten zich kunnen aanmelden voor een proefversie van de release. Android Builds voorafgaand aan de publieke release.
• HP voert online pilotprogramma's uit voor zijn producten en diensten.

Elk voorbeeld heeft dezelfde structuur: een beperkte, zelfgekozen groep test het daadwerkelijke product, telemetrie en feedback worden teruggestuurd naar de leverancier, en de bredere release wacht op die gegevens. De positie van deze techniek ten opzichte van de andere beschikbare benaderingen wordt uiteengezet in soorten softwaretesten.

Veelgestelde vragen