Ce este Benchmark Testing?
Thomas Hamilton
Înainte de a învăța Benchmark Testing, să înțelegem...
Benchmark în testarea performanței
A Benchmark în testarea performanței este o măsură sau un punct de referință față de care produsele sau serviciile software pot fi comparate pentru a evalua măsurile de calitate. Cu alte cuvinte, Benchmark înseamnă un standard stabilit care ajută la determinarea calității unui produs sau serviciu software. Putem compara un produs sau serviciu software pentru a-i evalua calitatea.
De exemplu, o echipă de fotbal are un punct de referință pentru ca un jucător să se califice ca a jucător de ligă premieră. Abilitatea stabilită pentru reper ar putea fi un număr de goluri marcate în ultimele cinci sezoane, sau posesia mingii în prima pauză, sau un număr minim de jocuri jucate în turneul local etc.
Ce este Benchmark Testing?
Benchmark Testarea măsoară un set repetabil de rezultate cuantificabile care servește drept punct de referință față de care produsele/serviciile pot fi comparate. Scopul rezultatelor testelor de referință este de a compara versiunile software prezente și viitoare cu benchmark-urile lor respective.
Un punct de referință trebuie să fie repetabil. De exemplu, cu fiecare iterație a testului de încărcare, dacă timpii de răspuns variază prea mult, performanța sistemului trebuie evaluată. Timpul de răspuns trebuie să fie stabil între diferitele condiții de încărcare.
Un punct de referință trebuie să fie cuantificabile. De exemplu, experiența utilizatorului nu poate fi cuantificată în cifre, dar timpul petrecut de un utilizator pe o pagină web datorită unei bune interfețe de utilizare poate fi cuantificat.
Testarea comparativă nu este un termen legat doar de testarea software-ului, ci se ocupă și de testarea hardware și este considerată una dintre cele mai importante sarcini din lumea afacerilor.
În acest tutorial, vom discuta referințe pentru o aplicație client-server sau, cu alte cuvinte, o aplicație web. Testarea benchmark se poate face pentru următoarele servicii,
- Compatibilitatea cu browserul
- Link-uri sparte
- Conformitate HTML
- Timp de încărcare
- Accesibilitate
- Popularitatea link-ului
De ce este importantă testarea comparativă?
La nivel de afaceri, testarea benchmark-ului poate fi de ajutor în stabilire
- Cât de bine funcționează o aplicație bazată pe web în raport cu concurenții
- Cum experimentează diferitele tipuri de clienți timpul de răspuns și disponibilitatea unui site
- Se asigură că site-urile web respectă standardele și cele mai bune practici
- Acesta permite evaluarea furnizorilor de servicii terți înainte de a lua o decizie de contractare
- Permite depistarea greșelilor care trebuie evitate
Crearea unui plan de testare de referință
Un plan de testare este cel mai important element al procesului de testare de referință. Planul de testare de referință urmează pașii de mai jos-
- Scalare și invocare a sarcinii de lucru
- Colectați și stocați măsuri pentru testarea de referință
- Definiți intervalul de timp necesar și punctul terminal al unui proces de testare
- Pregătiți un plan de rezervă pentru a depăși orice eșec nou caz de testare
- Decideți autoritatea de a apela încheierea procesului de final
Cum să faceți testarea comparativă
Există 4 faze implicate în testarea benchmark:
Pasul 1) Faza de planificare
- Identificarea și prioritizarea standardelor și cerințelor
- Decideți criteriile de referință
- Definiți procesul de testare de referință
Pasul 2) Faza de analiză
- Identificați cauza principală a erorii pentru a îmbunătăți calitatea
- Stabilirea obiectivelor pentru procesul de testare
Pasul 3) Faza de integrare
- Împărtășiți rezultatele cu persoana în cauză și obțineți aprobarea
- Stabiliți obiective funcționale
Pasul 4) Faza de acțiune
- Elaborați planul de testare și documentația
- Implementați acțiunile specificate în fazele anterioare și monitorizați progresul
- Rulați procesul continuu
Componentele testării benchmark
Sistemele diferite au grade diferite de complexitate și necesită tehnici diferite pentru testarea aplicațiilor.
Există 3 componente majore ale testării benchmark. Sunt
- Specificații privind sarcina de lucru: Determinarea tipului și frecvenței cererilor care urmează a fi transmise sistemului testat.
- Specificații pentru metrici: Determinați ce element trebuie măsurat de ex.; Viteza de descărcare
- Specificații de măsurare: Determinarea modului de măsurare a elementelor specificate pentru a găsi valori adecvate
Lucruri de luat în considerare în timpul testării comparative
Pentru desfășurarea cu succes a testelor de referință, trebuie luate în considerare următoarele fapte.
- Consecvență și control sunt măsuri importante pentru efectuarea testării benchmark.
- Înțelegeți arhitectura sistemului pentru a proiecta criteriile de testare și datele de testare
- Examinați datele statice inițiale și actualizați în funcție de numărul de utilizatori
- Verificați funcționalitatea „Resetare” oriunde este necesar și definiți rata de tranzacție pe secundă (aceasta se referă în mod special la tranzacțiile utilizatorilor cu o bază de date)
- Împărțiți elementele sistemului în funcție de funcționalitățile acestuia
- Fiecare sistem are arhitectură și design diferite, care trebuie luate în considerare la efectuarea testării benchmark
- Asigurați-vă că toate componentele software sunt în stare de funcționare
- Sistemul de operare și driverele de suport ar trebui să funcționeze cu acuratețe
- Eliminați fișierele de preluare preliminară și temporare din sistem înainte de a rula un benchmark
- Închideți toate procesele și aplicațiile care rulează în fundal
- Verificați actualizările sistemelor de operare și configurațiile din lumea reală
Cadre de testare de referință
Cadrele de testare de referință ajută la îndeplinirea unor sarcini fundamentale pentru verificările performanței. Aceste sarcini fundamentale includ:
- Acces la baza de date
- Compoziție pe partea serverului
- Serializare JSON
- Configuraţie
Cadrul de referință 2.0 & TechEmpower sunt cele mai utilizate cadre de testare de referință.
Să aruncăm o privire la TechEmpower. Vom arunca o privire rapidă asupra caracteristicilor sale principale.
- Este un cadru open-source pentru realizarea sarcinilor de referință
- Are nevoie de configurația corectă a mediului de benchmarking
- Există în principal două moduri, cum ar fi Modul Benchmark pentru compararea rezultatelor și Modul de verificare pentru cei care nu sunt experți
- Sunt necesare mai multe fișiere care sunt unice și pot varia în consecință de la un sistem la altul
- Include un „Fișier de configurare de referință” care definește un set de instrucțiuni de testare și metadate pentru un program de referință
- Se bazează pe mai multe limbi, cum ar fi Java, Python, Ruby, PHP, JavaScript, Perl, C, Groovy, Haskell, Scala etc.
- Object – Relational Mapper (ORM) este folosit pentru a efectua teste pe baze de date, serializare JSON etc.
Instrumente de testare de referință
Instrumentele de testare de referință sunt clasificate în consecință. Ne vom înrola unul câte unul.
Instrumente pentru testare Windows PC-uri:
Instrumente pentru testarea performanței CPU:
- Cinebench
- Geekbench
Instrumente pentru testarea vitezei sistemului și a bateriilor dispozitivelor mobile:
- Phoronix (Linux)
- Procesor UserBenchmark (Test de referință CPU)
- Vellamo (performanță de navigare pe web)
Testarea benchmark poate fi efectuată și cu Android telefoane și tablete. Printre toate, Nota de trecere este un instrument de testare de referință bine-cunoscut și utilizat pe scară largă.
Rezumat
- În ingineria software, testarea comparativă oferă un set repetabil de rezultate cuantificabile asupra performanței unui sistem.
- Este util pentru exercitarea condițiilor de încărcare și determinarea comportamentului sistemului împotriva atacurilor DDoS.
- Specificațiile de sarcină de lucru, valorile și specificațiile de măsurare sunt componente majore ale testării de referință.
- Mai multe instrumente și cadre sunt utilizate pentru a efectua teste de referință rapid și eficient.
- Testarea comparativă este utilă și pentru dispozitivele mobile.
