Ce este Benchmark Testing?

Înainte de a învăța Benchmark Testing, să înțelegem...

Benchmark în testarea performanței

A Benchmark în testarea performanței este o măsură sau un punct de referință față de care produsele sau serviciile software pot fi comparate pentru a evalua măsurile de calitate. Cu alte cuvinte, Benchmark înseamnă un standard stabilit care ajută la determinarea calității unui produs sau serviciu software. Putem compara un produs sau serviciu software pentru a-i evalua calitatea.

De exemplu, o echipă de fotbal are un punct de referință pentru ca un jucător să se califice ca a jucător de ligă premieră. Abilitatea stabilită pentru reper ar putea fi un număr de goluri marcate în ultimele cinci sezoane, sau posesia mingii în prima pauză, sau un număr minim de jocuri jucate în turneul local etc.

Ce este Benchmark Testing?

Benchmark Testarea măsoară un set repetabil de rezultate cuantificabile care servește drept punct de referință față de care produsele/serviciile pot fi comparate. Scopul rezultatelor testelor de referință este de a compara versiunile software prezente și viitoare cu benchmark-urile lor respective.

Un punct de referință trebuie să fie repetabil. De exemplu, cu fiecare iterație a testului de încărcare, dacă timpii de răspuns variază prea mult, performanța sistemului trebuie evaluată. Timpul de răspuns trebuie să fie stabil între diferitele condiții de încărcare.

Un punct de referință trebuie să fie cuantificabile. De exemplu, experiența utilizatorului nu poate fi cuantificată în cifre, dar timpul petrecut de un utilizator pe o pagină web datorită unei bune interfețe de utilizare poate fi cuantificat.

Testarea comparativă nu este un termen legat doar de testarea software-ului, ci se ocupă și de testarea hardware și este considerată una dintre cele mai importante sarcini din lumea afacerilor.

În acest tutorial, vom discuta referințe pentru o aplicație client-server sau, cu alte cuvinte, o aplicație web. Testarea benchmark se poate face pentru următoarele servicii,

• Compatibilitatea cu browserul
• Link-uri sparte
• Conformitate HTML
• Timp de încărcare
• Accesibilitate
• Popularitatea link-ului

Why Benchmark Testing is Important

La nivel de afaceri, testarea benchmark-ului poate fi de ajutor în stabilire

• Cât de bine funcționează o aplicație bazată pe web în raport cu concurenții
• Cum experimentează diferitele tipuri de clienți timpul de răspuns și disponibilitatea unui site
• Se asigură că site-urile web respectă standardele și cele mai bune practici
• Permite evaluarea furnizorilor de servicii terți înainte de a face o escrocherietracdecizie de luare a deciziilor
• Permite depistarea greșelilor care trebuie evitate

Crearea unui plan de testare de referință

Un plan de testare este cel mai important element al procesului de testare de referință. Planul de testare de referință urmează pașii de mai jos-

1. Scalare și invocare a sarcinii de lucru
2. Colectați și stocați măsuri pentru testarea de referință
3. Definiți intervalul de timp necesar și punctul terminal al unui proces de testare
4. Pregătiți un plan de rezervă pentru a depăși orice eșec nou caz de testare
5. Decideți autoritatea de a apela încheierea procesului de final

Cum să faceți testarea comparativă

Există 4 faze implicate în testarea benchmark:

Pasul 1) Faza de planificare

• Identificarea și prioritizarea standardelor și cerințelor
• Decideți criteriile de referință
• Definiți procesul de testare de referință

Pasul 2) Faza de analiză

• Identificați cauza principală a erorii pentru a îmbunătăți calitatea
• Stabilirea obiectivelor pentru procesul de testare

Pasul 3) Faza de integrare

• Împărtășiți rezultatele cu persoana în cauză și obțineți aprobarea
• Stabiliți obiective funcționale

Pasul 4) Faza de acțiune

• Elaborați planul de testare și documentația
• Implementați acțiunile specificate în fazele anterioare și monitorizați progresul
• Rulați procesul continuu

Componentele testării benchmark

Sistemele diferite au grade diferite de complexitate și necesită tehnici diferite pentru testarea aplicațiilor.

Există 3 componente majore ale testării benchmark. Sunt

1. Specificații privind sarcina de lucru: Determinarea tipului și frecvenței cererilor care urmează a fi transmise sistemului testat.
2. Specificații pentru metrici: Determinați ce element trebuie măsurat de ex.; Viteza de descărcare
3. Specificații de măsurare: Determinarea modului de măsurare a elementelor specificate pentru a găsi valori adecvate

Things to Consider While Benchmark Testing

Pentru desfășurarea cu succes a testelor de referință, trebuie luate în considerare următoarele fapte.

• Consecvență și control sunt măsuri importante pentru efectuarea testării benchmark.
• Înțelegeți arhitectura sistemului pentru a proiecta criteriile de testare și datele de testare
• Examinați datele statice inițiale și actualizați în funcție de numărul de utilizatori
• Verificați funcționalitatea „Resetare” oriunde este necesar și definiți rata de tranzacție pe secundă (aceasta se referă în mod special la tranzacțiile utilizatorilor cu o bază de date)
• Împărțiți elementele sistemului în funcție de funcționalitățile acestuia
• Fiecare sistem are arhitectură și design diferite, care trebuie luate în considerare la efectuarea testării benchmark
• Asigurați-vă că toate componentele software sunt în stare de funcționare
• Sistemul de operare și driverele de suport ar trebui să funcționeze cu acuratețe
• Eliminați fișierele de preluare preliminară și temporare din sistem înainte de a rula un benchmark
• Închideți toate procesele și aplicațiile care rulează în fundal
• Verificați actualizările sistemelor de operare și configurațiile din lumea reală

Cadre de testare de referință

Cadrele de testare de referință ajută la îndeplinirea unor sarcini fundamentale pentru verificările performanței. Aceste sarcini fundamentale includ:

1. Acces la baza de date
2. Compoziție pe partea serverului
3. Serializare JSON
4. Configuraţie

Cadrul de referință 2.0 & TechEmpower sunt cele mai utilizate cadre de testare de referință.

Să aruncăm o privire la TechEmpower. Vom arunca o privire rapidă asupra caracteristicilor sale principale.

• Este un cadru open-source pentru realizarea sarcinilor de referință
• Are nevoie de configurația corectă a mediului de benchmarking
• Există în principal două moduri, cum ar fi Modul Benchmark pentru compararea rezultatelor și Modul de verificare pentru cei care nu sunt experți
• Sunt necesare mai multe fișiere care sunt unice și pot varia în consecință de la un sistem la altul
• Include un „Fișier de configurare de referință” care definește un set de instrucțiuni de testare și metadate pentru un program de referință
• Se bazează pe mai multe limbi, cum ar fi Java, Python, Ruby, PHP, JavaScript, Perl, C, Groovy, Haskell, Scala etc.
• Object – Relational Mapper (ORM) este folosit pentru a efectua teste pe baze de date, serializare JSON etc.

Instrumente de testare de referință

Instrumentele de testare de referință sunt clasificate în consecință. Ne vom înrola unul câte unul.

Instrumente pentru testare Windows PC-uri:

1. Prime95
2. Novabench
3. 3DMark
4. SiSoftware Sandra

Instrumente pentru testarea performanței CPU:

1. Cinebench
2. Geekbench

Instrumente pentru testarea vitezei sistemului și a bateriilor dispozitivelor mobile:

1. Phoronix (Linux)
2. Procesor UserBenchmark (Test de referință CPU)
3. Vellamo (performanță de navigare pe web)

Testarea benchmark poate fi efectuată și cu Android telefoane și tablete. Printre toate, Nota de trecere este un instrument de testare de referință bine-cunoscut și utilizat pe scară largă.

Cum se încadrează acest test în familia de teste de performanță

Testarea performanței este un termen generic. Variantele de mai jos diferă doar prin forma sarcinii aplicate și durata de timp în care este menținută, motiv pentru care sunt atât de des confundate între ele.

Tipul testului	Model de încărcare	Întrebare îi răspunde
Testare de sarcină	Sarcină maximă așteptată, durată scurtă	Își îndeplinește sistemul obiectivele în condiții normale de trafic de vârf?
Testare stresanta	Crescut peste capacitate până la defecțiune	Unde se rupe și cedează cu grație?
Testarea vârfurilor	Creștere bruscă și extremă, apoi retragere	Supraviețuiește și își revine după un șoc în trafic?
Testare de anduranță	Sarcina normală menținută timp de mai multe ore	Se degradează performanța în timp?
Testarea prin imersie	Sarcină susținută pe o perioadă extinsă	Există scurgeri de memorie sau epuizare a resurselor?
Testare de stabilitate	Sarcină variabilă în funcție de condiții	Sistemul rămâne fiabil chiar și atunci când se schimbă condițiile?
Testarea volumului	Utilizatori obișnuiți, volum foarte mare de date	Se descurcă pe măsură ce baza de date crește?

Testele de anduranță și testarea la îmbibare sunt adesea tratate ca sinonime. În uzul comun, acestea sunt: ​​ambele suportă o sarcină susținută pentru o perioadă lungă de timp. Acolo unde echipele le disting, testarea de anduranță se concentrează asupra creșterii timpilor de răspuns, în timp ce testarea prin absorbție se concentrează pe consumul de resurse, cum ar fi memoria, identificatorii de fișiere și pool-urile de conexiuni. Rularea uneia dintre ele vă oferă de obicei dovezi pentru ambele.

Benchmark Testing: Key Takeaways

• În ingineria software, testarea comparativă oferă un set repetabil de rezultate cuantificabile asupra performanței unui sistem.
• Este util pentru exercitarea condițiilor de încărcare și determinarea comportamentului sistemului împotriva atacurilor DDoS.
• Specificațiile de sarcină de lucru, valorile și specificațiile de măsurare sunt componente majore ale testării de referință.
• Mai multe instrumente și cadre sunt utilizate pentru a efectua teste de referință rapid și eficient.
• Testarea comparativă este utilă și pentru dispozitivele mobile.

Întrebări frecvente