Mi az a Pilot Testing? Meghatározás, jelentés, példák
Thomas Hamilton
⚡ Okos összefoglaló
A kísérleti tesztelés egy működő rendszert helyez valós felhasználók kiválasztott csoportja elé éles üzemi körülmények között, ellenőrizve a megvalósíthatóságot, a költségeket, a kockázatokat és a teljesítményt a felhasználói elfogadási tesztelés és a teljes éles telepítés közötti időszakban.
Mi az a Pilot Testing?
Pilot tesztelés A kísérleti tesztelés egy olyan szoftvertesztelési típus, amely a rendszer egy komponensét vagy a teljes rendszert valós idejű működési körülmények között ellenőrzi. A pilot teszt célja a projekt megvalósíthatóságának, idejének, költségének, kockázatának és teljesítményének értékelése, mielőtt azt mindenki számára elérhetővé tennék.
Ez a tesztelés pontosan az UAT és a gyártás között történik.
A pilot tesztelés során a végfelhasználók egy kiválasztott csoportja kipróbálja a tesztelt rendszert, és visszajelzést ad a rendszer teljes telepítése előtt. Más szóval, ez egy főpróba a következő használhatósági teszthez, és segít a rendszer hibáinak korai felismerésében.
Az alábbi ábra ezt az elrendezést mutatja: a kész buildet egy korlátozott számú kísérleti csoportnak adják ki, és ott figyelik, míg a szélesebb felhasználói bázis a meglévő rendszeren marad, amíg az eredmények meg nem érkeznek.
A kísérleti tesztelés egy rendszer telepítésére vonatkozik az ügyfél telephelyére (vagy egy felhasználó által szimulált környezetre) a folyamatos és rendszeres használat ellen.
A leggyakoribb módszer a rendszer folyamatos használatban tartása, hogy feltárják a gyenge pontjait. Ezeket a gyengeségeket ezután hibajelentésként küldik vissza a fejlesztőcsapatnak a normál felületen keresztül. hibakezelési folyamat, és a hibákat a rendszer következő buildjében kijavítják.
E folyamat során néha az átvételi tesztelés is részeként szerepel Kompatibilitási tesztelés. Ez akkor fordul elő, amikor egy rendszert fejlesztenek egy régi rendszer helyettesítésére.
In SzoftverfejlesztésA kísérleti tesztelés egy kereskedelmi kérdésre is választ ad, nevezetesen, hogy a terméknek vagy szolgáltatásnak van-e potenciális piaca.
Miért fontos a kísérleti tesztelés?
A kísérleti projekt az utolsó lehetőség arra, hogy olcsón tanuljunk valamit. Minden, ami utána történik, gyártási incidens. Konkrétan egy kísérleti teszt a következőket nyújtja:
- Hibakeresést végez a szoftverben, valamint a tesztelésére és támogatására használt eljárásokban.
- Megerősíti, hogy a termék valóban készen áll-e a teljes körű megvalósításra.
- Támogatja a jobb döntéseket az idő, a költségvetés és az erőforrások elosztásával kapcsolatban a bevezetés során.
- A célközönség reakcióját méri a termékre vagy programra.
- A program sikerességét a vélemények helyett, nem pedig elfogadott kritériumok alapján méri.
- Próbát ad a csapatnak azokról a tevékenységekről, amelyeket a használhatósági teszt során használni fognak.
A kísérleti tesztelés módja
A kísérleti tesztelés szintje az áttelepítési projekt méretétől és hatókörétől függ. A tényleges kísérleti tesztelést egy erre a célra kialakított területen vagy laboratóriumban végzik, ahol a felhasználók számos eljárást, tranzakciót és jelentést futtatnak, miközben szimulálják a szoftver működését.
A kísérleti tesztelés a projekt kontextusától függően végezhető el:
- Egy általános üzleti vállalkozás esetében egy pilot teszt elvégezhető egy felhasználói csoporttal egy adatközpontban található szerverkészleten.
- Egy webfejlesztő vállalkozás esetében a kísérleti tesztet úgy lehet elvégezni, hogy a webhelyfájlokat bemutató szervereken vagy az interneten található mappákban tárolják.
- Kereskedelmi szoftvergyártók esetében kísérleti tesztet lehet végrehajtani a korai alkalmazók speciális csoportjával.
Bármelyik kontextus is alkalmazható, a pilot tesztelés egy öt lépésből álló írásos teszttervet követ.
1. lépés: Kísérleti terv létrehozása
2. lépés: Felkészülés a pilot tesztre
3. lépés: A pilot teszt telepítése és tesztelése
4. lépés: A kísérleti teszt értékelése
5. lépés: Felkészülés az éles telepítésre
A pilot tesztelés megkezdése előtt a következőket kell figyelembe venni:
- Biztosítson megfelelő képzést a résztvevőknek.
- Bevezetési terv a szerverek telepítésére és a rendszerek felkészítésére a kísérleti projektre.
- A telepítési folyamat dokumentációja.
- Minden szoftveralkalmazás tesztelő szkriptjei. Ez a végrehajtandó függvények ellenőrzőlistáiból áll.
- Biztosítson folyamatos visszajelzést a tervező és tesztelő csapatoknak a felhasználóktól e-mailek vagy weboldalak segítségével.
- Állítsa be a pilot értékelési kritériumait, például az elégedetlen felhasználók számával kapcsolatos információkat, a támogatási hívások és kérések számát stb.
- Vonjon be egy munkacsoportot a közösségi partnerekből vagy érdekelt felekből, akik befektettek a projektbe, és rendszeresen találkoznak majd, hogy megvitassák az előrehaladást.
- Dolgozzon ki egy értékelési tervet és értékelési eszközöket a kísérleti csoport tudásával, a hozzáállásában és viselkedésében bekövetkezett változásokkal kapcsolatos szükséges információk rögzítésére.
A kísérleti teszt során a csapat tesztadatokat gyűjt és értékel. Ezen adatok alapján a csapat az alábbi stratégiák egyikét választja.
- Lépj előre – Új kiadásra jelölt verzió telepítése a kísérleti csoportba.
- Roll back – Hajtsa végre a visszagörgetési tervet a pilot csoport korábbi konfigurációs állapotának visszaállításához.
- Felfüggesztés – Felfüggesszék a kísérleti tesztelést.
- Folt és Folytatás – Javítások telepítése a meglévő megoldás javításához.
- Telepítése – Folytassa a megoldás telepítésével.
A visszagörgetési opció az oka annak, hogy egyáltalán érdemes pilot projektet futtatni, ezért a visszaállítási útvonalat ugyanúgy kell gyakorolni, mint helyreállítási tesztelés a hibakezelést gyakorolja, ahelyett, hogy leírná és működőképesnek feltételezné.
Belépési és kilépési kritériumok a kísérleti teszteléshez
Egy elfogadott kritériumok nélküli kísérleti projekt a visszajelzések megérkezése után véleményvitatémá alakul. Mindkét kritériumrendszert jóváhagyják, mielőtt az első felhasználó bejelentkezik.
Nevezési kritériumok – a kísérleti projekt akkor indulhat, amikor:
- A felhasználói elfogadási tesztelés befejeződött, és egyetlen nyitott hiba sem jelent olyan súlyosságot, amely akadályozná a napi munkát.
- A kísérleti környezet a konfiguráció, az adatmennyiség és az integrációk tekintetében tükrözi a termelési folyamatokat.
- A kísérleti csoportot kiválasztották, kiképezték, és tájékoztatták őket a gyakorlat céljáról és időtartamáról.
- A kísérleti időszakra létezik egy tesztelt visszagörgetési terv és egy támogatási kapcsolattartó.
Kilépési kritériumok – a kísérleti projekt akkor ér véget, amikor a megállapodás szerinti mérések rendelkezésre állnak, jellemzően:
- A hibák súlyosság szerint számolódnak, azzal a küszöbértékkel, amely felett a bevezetés elhalasztásra kerül.
- A rendszer által támogatott üzleti folyamatok feladatvégzési aránya és hibaszázaléka.
- A teljesítmény a lecserélendő rendszer alapverziójához viszonyítva mérve.
- Támogatási terhelés, például a felhasználónként hetente beérkező hívások vagy jegyek száma.
- A felhasználói elégedettséget strukturált felméréssel, nem pedig informális megjegyzésekkel gyűjtöttük.
Ezek a mérések egyetlen döntést táplálnak, és ugyanezek a számok általában a szélesebb körű döntéseket is alátámasztják. kockázatalapú tesztelés egy olyan értékelés, amely meghatározza, hogy mennyi extra lefedettségre van szüksége a kiadásnak az általános elérhetőség előtt.
Kísérleti tesztelés vs. béta tesztelés
A két tevékenységet gyakran összekeverik, mivel mindkettő befejezetlen szoftvereket helyez a felhasználók elé. A különbség az irányításban rejlik: a pilot egy mért próba egy meghatározott csoporton belül, míg a béta egy nyílt kiadás, amely mennyiségi visszajelzéseket gyűjt.
| Aspect | Pilóta tesztelés | Béta tesztelés |
|---|---|---|
| Közönség | Egy kiválasztott, reprezentatív csoport egy ismert helyszínen | Bármelyik, a nyilvánosság által választott személy |
| Környezet | Csapat által irányított, termelési jellegű környezet | A felhasználó saját eszközei és hálózatai |
| Időzítés | Felhasználói elfogadási tesztelés után, bevezetés előtt | A pilot epizód után, közelebb a nyilvános megjelenéshez |
| Cél | Megvalósíthatóság, költségek, kockázatok és a telepítésre való felkészültség igazolása | Széleskörű visszajelzések gyűjtése és ritka környezeti problémák feltárása |
| Mérés | Formális belépési és kilépési kritériumok elfogadott mérőszámokkal | Jelentett problémák és használati telemetria |
| Rollback | A kísérleti csoport számára megtervezve és begyakorolva | A felhasználók maguk távolíthatják el vagy állíthatják vissza a beállításokat |
A kísérleti tesztelés ugyanúgy különbözik a felhasználói elfogadási tesztelés, amely azt kérdezi, hogy a rendszer megfelel-e a megállapodás szerinti követelményeknek, és innen alfa tesztelés, ami házon belül történik, mielőtt bármelyik ügyfél látná a buildet.
A kísérleti tesztelés előnyei és hátrányai
A kompromisszum egyszerű: a pilóta bizonyítékokat vásárol, és ezeket a bizonyítékokat ütemtervvel és koordinációs erőfeszítésekkel fizeti ki.
| Előnyök | Hátrányok |
|---|---|
| Olyan hibákat tár fel valós használati minták mellett, amelyeket egy laboratórium nem tud reprodukálni | Hozzáad egy fázist az ütemtervhez az UAT és a kiadás között |
| Telepítési lépések, képzési anyagok és támogatási eljárások validálása | Termelési környezetet és dedikált támogatást igényel |
| Mért bizonyítékokat szolgáltat a folytatás vagy a nem folytatás döntésére vonatkozóan | Az eredmények csak annyira reprezentatívak, mint a kiválasztott kísérleti csoport. |
| A hiba robbanási sugarát egyetlen csoportra korlátozza, nem pedig minden felhasználóra | Egy rövid kísérleti időszak kihagyhatja a hónap végi, csúcsterheléses és szezonális viselkedést |
| Az érdekelt felek bizalmát építi a szélesebb körű bevezetés előtt | A résztvevők esetleg vonakodhatnak bejelenteni a saját élő munkájuk során felmerülő problémákat |
Mindkét oszlop amellett érvel, hogy a kísérleti projektet a projekten belüli ütemterv szerinti fázisként kell kezelni. szoftvertesztelés életciklusa saját tervvel és tulajdonossal, ahelyett, hogy egy informális, a végéhez illesztett áztatási időszakként szolgálna rendszertesztelés.
Bevált gyakorlat a kísérleti teszteléshez
- A próbatesztet két nappal a használhatósági teszt előtt ütemezze be.
- Ne kezdje el a kísérleti tesztet, amíg minden felhasználó, ügyfél és a projektcsapat meg nem egyezik a sikeres eredmény kritériumaival.
- Kérje meg a felhasználókat, hogy jelöljék meg a problémákat az anyagok másolatain, írják le aggályaikat, és tegyenek javaslatokat (ha vannak) a javításra.
- Tájékoztassa a felhasználókat a kísérleti program céljáról, hosszáról és előrehaladásáról.
- Olyan résztvevőket válasszon, akik tükrözik a valódi felhasználói populációt, beleértve a kevésbé magabiztosakat is, mert egy lelkes csoport hízelgő eredményről számol be.
- Vezess egyetlen naplót a problémákról, visszajelzésekről és döntésekről, hogy a kilépési felülvizsgálat egyetlen nyilvántartásból történjen.
Két további gyakorlat magából a környezetből fakad. A kísérleti csoport eszközeit, böngészőit és operációs rendszereit a lehető legaprólékosabban kell lefedni. konfigurációs tesztelés és megerősítené, hogy a napi műveletek, mint például a biztonsági mentés, a monitorozás és a kötegelt feladatok megfelelően működnek, ami a üzemi átvételi tesztelés.
Példa a kísérleti tesztelésre
Íme néhány gyakori példa a kísérleti tesztelésre:
- Microsoft fut a Windows Bennfentes program, kiadás előtti kiadás Windows önkéntes csatornáknak szóló buildeket, mielőtt azok általánosan elérhetővé válnának.
- Google fut a Android Béta program, amely a támogatott Pixel eszközöket regisztrálja a megjelenés előtti próbaverzióra Android a nyilvános megjelenés előtt épül fel.
- A HP online kísérleti programokat futtat termékei és szolgáltatásai számára.
Minden példa ugyanazt az alakot követi: egy korlátozott, önkiválasztott populáció futtatja a valódi terméket, a telemetriát és a visszajelzéseket visszajuttatja a szállítóhoz, és a szélesebb körű kiadás erre a bizonyítékra vár. A technika elhelyezkedése a többi elérhető megközelítéshez képest a következő részben található. a szoftvertesztelés típusai.
