Ce este testarea bazată pe model?

⚡ Rezumat inteligent

Testarea bazată pe model verifică comportamentul software-ului în timpul execuției în raport cu predicțiile făcute de un ABStracmodelul t al sistemului, generând automat cazuri de testare din mașini cu stări finite, diagrame de stări sau notații UML, mai degrabă decât manual.

  • 🧭 Idee de bază: Un model descrie comportamentul așteptat, iar fiecare caz de testare este derivat din acel model în loc să fie scris individual.
  • 🔀 Două cadre: Generarea offline construiește suita înainte de execuție, în timp ce generarea online produce pași din mers în timpul execuției.
  • 📐 Notații ale modelului: Mașini cu stări finite, diagrame de stări, tabele de decizie, grafice de flux de date și flux de control și diagrame UML.
  • ⚙️ Proces de lucru: Construiți modelul, alegeți criteriile de acoperire, generați valorile abstracteste t, concretizarea lor în scripturi, executarea lor, apoi atribuirea de verdicte.
  • 🛠️ scule: GraphWalker, fMBT, Conformiq, MaTeLo, MBTsuite și Spec Explorer generează căi din grafuri direcționate sau modele de stare.
  • 🇧🇷 Compensație: Întreținerea scade și acoperirea crește, dar tehnica necesită abilități de modelare și o investiție inițială în învățare.

Testarea bazată pe modele care derivă automat cazuri de testare dintr-un model comportamental al sistemului

Ce este testarea bazată pe model?

Testare bazată pe model este o tehnică de testare a software-ului în care comportamentul în timpul execuției al software-ului testat este verificat în raport cu predicțiile făcute de un model. Un model este o descriere a comportamentului unui sistem, exprimat în termeni de secvențe de intrare, acțiuni, condiții, ieșiri și fluxul de date de la intrare la ieșire. Un model utilizabil trebuie să fie practic ușor de înțeles, reutilizabil și partajabil și trebuie să descrie cu precizie sistemul testat.

Există numeroase modele disponibile, iar fiecare descrie un aspect diferit al comportamentului sistemului. Exemple comune sunt:

Testarea bazată pe model descrie modul în care un sistem se comportă ca răspuns la o acțiune determinată de model. Furnizați acțiunea, apoi verificați dacă sistemul răspunde așa cum prezice modelul. Orice divergență între cele două este fie un defect al software-ului, fie o eroare a modelului, ambele merită identificate.

Este o metodă formală ușoară pentru validarea unui sistem și se aplică la testarea hardware la fel de ușor ca și la testarea software. Deoarece testele provin dintr-o specificație de comportament și nu din cod, tehnica se bazează pe testare cutie neagră familie de tehnici de testare a software-ului.

Exemplu de testare pe bază de model

Cea mai simplă modalitate de a citi un model comportamental este de a-l urma până la capăt. Diagrama de mai jos modelează o mică sarcină de editare de text, fiecare casetă reprezentând o stare în care se poate afla aplicația și fiecare săgeată reprezentând o acțiune pe care o poate întreprinde un utilizator.

Exemplu de testare bazată pe modele care modelează stările și acțiunile scrierii unei poezii în Notepad

Modelul explică o abordare simplificată a scrierii poeziei în Notepad și acțiunile posibile legate de fiecare pas. Pentru fiecare acțiune, cum ar fi pornirea aplicației, introducerea unei poezii sau salvarea fișierului, un caz de testare poate fi generat, iar rezultatul verificat. Parcurgerea unei căi diferite prin aceeași diagramă, de exemplu pornirea și închiderea fără salvare, produce un caz de testare diferit fără costuri suplimentare de proiectare, acesta fiind argumentul economic pentru întreaga tehnică.

Tipuri de MBT

Există două tipuri de framework-uri de testare bazate pe modele, iar diferența dintre ele constă pur și simplu în momentul în care sunt produși pașii de testare:

  • Offline / a priori: Generarea de suite de teste înainte de executarea lor. O suită de teste este o colecție de cazuri de testare, iar în acest mod suita este stocată, revizuită și rulată din nou ca oricare alta. testarea automatizării activ.
  • Online / din mers: Generarea de suite de teste în timpul execuției testelor, unde următorul pas este ales pe baza modului în care sistemul a răspuns efectiv la cel precedent.

Generarea offline se potrivește mediilor reglementate care necesită o suită revizuibilă și repetabilă. Generarea online se potrivește sesiunilor exploratorii de lungă durată împotriva sistemelor cu stare, deoarece generatorul poate reacționa la răspunsul real, mai degrabă decât la cel prezis.

Cum funcționează testarea bazată pe model

Indiferent de framework-ul utilizat, tehnica urmează aceleași cinci etape. Fiecare etapă produce un artefact pe care etapa următoare îl consumă, motiv pentru care modelul, și nu scriptul de testare, devine lucrul pe care echipa îl întreține.

  • Pasul 1: Construiți modelul. Traduceți cerințele sau o specificație într-un abstracModelul t al comportamentului așteptat, definind stările, tranzițiile dintre ele și intrările care declanșează fiecare tranziție.
  • Pasul 2: Alegeți criteriile de selecție a testului. Criteriile îi spun generatorului când să se oprească. Cele mai comune sunt acoperirea tuturor stărilor, care vizitează fiecare stare cel puțin o dată; acoperirea tuturor tranzițiilor, care exercită fiecare săgeată cel puțin o dată; și acoperirea căii sau a fluxului de date pentru o explorare mai profundă.
  • Pasul 3: Generați abdomenultraccazuri de testare t. Instrumentul parcurge modelul și emite secvențe de abdomenetract etape care satisfac criteriile alese, împreună cu rezultatul așteptat la fiecare etapă.
  • Pasul 4: Concretizează abdomenultracteste t. Un strat adaptor mapează fiecare abdomentracsă inițieze o acțiune reală împotriva sistemului, cum ar fi o interacțiune cu interfața utilizatorului, o API apel sau un mesaj de protocol. Această hartăping este scrisă o singură dată și reutilizată de fiecare test generat.
  • Pasul 5: Executarea și atribuirea verdictelor. Testele concrete se execută împotriva sistemului testat, fiecare răspuns observat este comparat cu predicția modelului și se înregistrează un verdict de acceptare sau respingere. tracînapoi la elementul modelului care l-a produs.

tracEficacitatea creată în pasul 5 este recompensa practică. Când o cerință se schimbă, modelul se schimbă, iar testele afectate sunt regenerate în loc să fie rescrise, motiv pentru care echipele care efectuează frecvent testarea regresiei împotriva unei specificații stabile beneficiază cel mai mult.

Diferite modele în testare

Pentru a înțelege MBT (Talentul Principal de Tranzacție) este necesar să înțelegem câteva dintre modelele explicate mai jos. Fiecare dintre ele schimbă puterea expresivă cu efortul, așadar alegerea depinde de cât de complicat este, de fapt, comportamentul testat.

Mașini cu stare finită

Acest model îi ajută pe testeri să evalueze rezultatul în funcție de intrarea selectată. Diverse combinații ale intrărilor pot duce la o stare corespunzătoare a sistemului.

Sistemul va avea o stare specifică și o stare curentă, care este guvernată de un set de intrări date de testere.

Luați în considerare exemplul de mai jos. Un sistem permite angajaților să se conecteze la o aplicație. Starea curentă a angajatului este „Ieșit” și devine „Într-o” odată ce angajatul se conectează la sistem. În starea „Într-o”, un angajat poate vizualiza, imprima și scana documente în sistem.

Mașina de stări pentru acel exemplu este prezentată aici, fiecare săgeată etichetată cu intrarea care provoacă tranziția.

Model de mașină cu stări finite care arată stările Out și In ale unui sistem de conectare a angajaților

Diagrame de stat

O diagramă de stări este o extensie a mașinii de stări finite și poate fi utilizată pentru sisteme complexe și în timp real. Diagramele de stări descriu diverse comportamente ale sistemului, au un număr definit de stări, iar comportamentul sistemului este analizat și reprezentat sub formă de evenimente pentru fiecare stare. Extensia care contează în practică este ierarhia: o diagramă de stări permite stări imbricate și paralele, astfel încât o mașină care ar avea nevoie de zeci de stări plate poate fi desenată compact.

De exemplu, defectele sunt semnalate în instrumentul de gestionare a defectelor cu starea Nou. Odată ce un defect este remediat de către dezvoltatori, starea trebuie schimbată în Remediat. Dacă un defect nu este remediat, starea se schimbă în Redeschis. Diagramele de stări ar trebui proiectate astfel încât să fie apelat un eveniment pentru fiecare stare.

Ciclul de viață al defectului este desenat mai jos, fiecare stare fiind afișată ca o stare și fiecare acțiune din fluxul de lucru ca evenimentul care mută defectul între ele.

Diagrama de stare a ciclului de viață al unui defect care trece prin stările Nou, Remediat și Redeschis

Limbajul de modelare unificat (UML)

Limbajul de modelare unificat (UML) este un limbaj de modelare standardizat, de uz general. UML include un set de tehnici de notație grafică utilizate pentru a crea modele vizuale care pot descrie comportamentul foarte complicat al sistemului.

UML are notații precum:

  • Activitati
  • Actori
  • Procesul de afaceri
  • Componente
  • Limbaj de programare

Diagramele de activitate și de stare a mașinii sunt cele pe care generatoarele de teste le citesc cel mai des, așa cum ilustrează modelul UML de mai jos.

Notația diagramei UML utilizată ca model sursă pentru generarea cazurilor de testare

Instrumente de testare bazate pe modele

Un model pe hârtie nu generează nimic de la sine. Este nevoie de un generator pentru a parcurge modelul și a emite căi de testare, iar piața instrumentelor se împarte în generatoare open-source și platforme comerciale de proiectare a testelor.

  • GraphWalker — un instrument open-source care citește modele sub formă de grafuri orientate și generează căi de testare din acestea, cu generatoare selectabile și condiții de oprire.
  • fMBT — un set de instrumente de testare bazate pe modele, open-source, de la Intel, care acceptă generarea și executarea testelor pe baza modelelor de stare.
  • Conformiq — un produs comercial de proiectare automată a testelor care derivă cazuri de testare și scripturi din modele grafice comportamentale.
  • MaTeLo și MBTsuite — platforme comerciale care vizează modele statistice de utilizare și generarea de teste în cadre de automatizare existente.
  • Explorator de specificații - MicrosoftExtensia de testare bazată pe model pentru Visual Studio, citată pe scară largă în literatura de testare a protocoalelor.

Selecția depinde mai puțin de listele de caracteristici și mai mult de două întrebări: ce notație poate desena echipa efectiv și dacă instrumentul poate emite teste în cadrul de automatizare deja utilizat. Un generator care produce suite pe care nimeni nu le poate executa adaugă un pas procesului în loc să elimine unul.

Testarea bazată pe model vs. designul tradițional al testelor

Contrastul cu designul testelor scrise de mână merită subliniat, deoarece cele două abordări eșuează în aspecte diferite, în loc ca una să fie pur și simplu mai bună.

Aspect Testare bazată pe model Designul tradițional al testelor
Sursa cazurilor de testare Generat automat dintr-un model comportamental Scris individual de un tester din cerințe
Efectul unei modificări a cerințelor Actualizați modelul, regenerați testele afectate Localizați și editați manual fiecare caz de testare afectat
Acoperire Măsurat în funcție de criterii de model, cum ar fi toate stările sau toate tranzițiile Măsurat în funcție de cerințe și dependent de judecata testerului
Costul inițial Nivel avansat: abilități de modelare, configurare instrumente și un strat adaptor Scăzut: un tester poate începe să scrie imediat
Cel mai potrivit Sisteme cu stări precise, cu durată lungă de viață, cu o specificație stabilă Proiecte scurte, reportaje unice și lucrări exploratorii
Mod principal de defecțiune Un model greșit sau învechit generează în tăcere teste greșite Lacunele și duplicatele se acumulează într-o suită mare

Evoluția de mai jos plasează tehnica în context: execuția manuală a testelor a cedat locul execuției automate, iar abordările bazate pe modele mută automatizarea cu un nivel mai devreme, în proiectarea testelor în sine.

Evoluția testării software de la execuție manuală, prin automatizare, la testarea bazată pe modele

Provocările testării bazate pe modele

Implementarea MBT într-o organizație necesită o investiție considerabilă de bani și efort. Următoarele sunt dezavantajele MBT în Inginerie software:

  • Testerii au nevoie de abilități de modelare pe care designul tradițional de teste nu le cere.
  • Curba de învățare este lungă, iar primul proiect costă de obicei mai mult decât economisește.
  • Modelul în sine poate fi dificil de înțeles și de revizuit, mai ales odată ce acesta se dezvoltă.
  • Un model care se decalează de specificație generează teste greșite, dar încrezătoare.
  • Stratul adaptor care transformă abdomenultracPașii către acțiunile reale trebuie scriși și menținuți separat.
  • Dimensiunea modelului crește rapid, astfel încât un model de stare neconstrâns poate produce mai multe căi decât poate executa orice echipă.

Niciunul dintre acestea nu este un motiv pentru a evita tehnica, dar împreună explică de ce MBT este de obicei introdus mai întâi pe un subsistem stabil, mai degrabă decât pe întregul subsistem. ciclul de viață al testării software o dată.

Avantajele testării bazate pe modele

Comparativ cu aceste costuri, beneficiile MBT sunt:

  • Întreținere ușoară a cazurilor de testare și a suitei de teste, deoarece modelul este editat în loc de testele individuale.
  • Reducerea costurilor pe durata de viață a unui proiect de lungă durată.
  • Îmbunătățit acoperirea testului, deoarece generatorul explorează căi pe care o persoană le-ar sări peste.
  • Diferite suite generate pot rula în paralel pe oricâte mașini.
  • Detectarea timpurie a defectelor, deoarece ambiguitățile apar în timpul construirii modelului, înainte de executarea oricărui cod.
  • O creștere a numărului de defecte găsite pentru același efort de testare.
  • Economie de timp la proiectarea testelor odată ce modelul și adaptorul există.
  • Satisfacție sporită a testerilor în muncă, pe măsură ce efortul se mută de la scriptarea repetitivă la modelare și analiză.

Testerii construiesc oricum modele mentale în timp ce lucrează, iar MBT pur și simplu mută aceste modele mentale pe hârtie, unde pot fi revizuite, versionate și reutilizate. Modul în care tehnica se potrivește alături de celelalte abordări disponibile este prezentat în tipuri de testare software.

Întrebări frecvente

Cutie neagră. Testele sunt derivate dintr-un model cu comportament specificat, nu din codul sursă. Tehnica devine o cutie gri doar atunci când modelul este construit din documente de design interne, mai degrabă decât din cerințe externe.

Doar comportamentul pentru care merită generate teste. Modelați un flux de lucru cu stări, cum ar fi verificarea sau ciclul de viață al unui defect, la cel mai grosier nivel care distinge în continuare rezultatele reale. Modelarea tuturor lucrurilor produce o explozie de stări pe care nimeni nu o poate executa.

Modelul aparține controlului versiunilor alături de cod, cu un proprietar numit și o etapă de revizuire în același proces de modificare ca și specificația. Un model fără proprietar are deviații, iar un model cu deviații generează teste sigure, dar greșite.

Nu. Un generator explorează doar ceea ce descrie modelul, așa că orice omite modelul rămâne netestat. Sesiunile exploratorii rămân modalitatea prin care echipele găsesc comportamente pe care nimeni nu le-a specificat și adesea dezvăluie lacunele pe care modelul le absoarbe apoi.

Sisteme cu stare de lungă durată, cu specificații scrise: protocoale de comunicații, controlere integrate și auto, dispozitive medicale, fluxuri de lucru bancare și echipamente de telecomunicații. Aceste domenii combină o specificație stabilă cu prea multe secvențe legale pentru a fi enumerate manual.

Când specificația se schimbă mai repede decât poate urma modelul, când caracteristica este mică sau de scurtă durată sau când nimeni din echipă nu poate menține notația, în aceste situații, cazurile scrise de mână costă mai puțin decât proiectul.

Învățarea automată deduce modele de stare preliminare din jurnalele de producție și sesiunile înregistrate, semnalează tranzițiile pe care modelul nu le acoperă niciodată și clasifică căile generate în funcție de istoricul defectelor, astfel încât secvențele cu cel mai mare risc să ruleze primele. Inginerii validează în continuare modelul dedus.

Da, în principal pentru stratul adaptor: metodele step, obiectele de pagină și aserțiunile care leagă abstracacțiunile modelului la apeluri reale. Decizia privind conținutul modelului și criteriile de acoperire importante rămâne o judecată de proiectare.

Rezumați această postare cu: