Mitä vertailutestaus on?

Ennen kuin opimme vertailutestauksen, ymmärrämme-

Suorituskykytestauksen vertailukohta

A Suorituskykytestauksen vertailukohta on mittari tai vertailukohta, johon ohjelmistotuotteita tai palveluita voidaan verrata laatumittausten arvioimiseksi. Toisin sanoen Benchmark tarkoittaa asetettua standardia, joka auttaa määrittämään ohjelmistotuotteen tai -palvelun laadun. Voimme vertailla ohjelmistotuotetta tai palvelua sen laadun arvioimiseksi.

Esimerkiksi jalkapallojoukkueella on vertailukohta, jonka avulla pelaaja voi päästä a Valioliigan pelaaja. Vertailuarvon taito voi olla viimeisten viiden kauden aikana tehtyjen maalien määrä tai pallon hallussapito ensimmäisen puoliajan aikana tai paikallisessa turnauksessa pelattujen otteluiden vähimmäismäärä jne.

Mitä vertailutestaus on?

Vertailutestaus mittaa toistettavissa olevia kvantifioitavissa olevia tuloksia, jotka toimivat vertailukohtana, johon tuotteita/palveluita voidaan verrata. Vertailutestauksen tulosten tarkoituksena on verrata nykyisiä ja tulevia ohjelmistojulkaisuja vastaaviin vertailuarvoihinsa.

Vertailuarvo on oltava toistettavissa. Esimerkiksi, jos vasteajat vaihtelevat liikaa kuormitustestin jokaisella iteraatiolla, järjestelmän suorituskykyä on mitattava. Vasteajan tulee olla vakaa eri kuormitusolosuhteissa.

Vertailuarvo on oltava mitattavissa. Esimerkiksi käyttökokemusta ei voida mitata numeroina, mutta aika, jonka käyttäjä viettää verkkosivulla hyvän käyttöliittymän ansiosta, voidaan kvantifioida.

Vertailutestaus ei liity pelkästään ohjelmistotestaukseen, vaan se koskee myös laitteistotestausta ja sitä pidetään yhtenä yritysmaailman tärkeimmistä tehtävistä.

Tässä opetusohjelmassa käsittelemme asiakas-palvelinsovelluksen tai toisin sanoen verkkosovelluksen vertailuarvoja. Vertailutestaus voidaan tehdä seuraaville palveluille,

• Selaimen yhteensopivuus
• Broken Links
• HTML-yhteensopivuus
• Lataa aika
• Käytettävyys:
• Linkin suosio

Miksi vertailutestaus on tärkeää

Yritystasolla benchmark-testaus voi olla hyödyllinen määrittämisessä

• Kuinka hyvin verkkopohjainen sovellus toimii kilpailijoihin verrattuna
• Kuinka erityyppiset asiakkaat kokevat sivuston vasteajan ja saatavuuden
• Se varmistaa, että verkkosivustot noudattavat standardeja ja parhaita käytäntöjä
• Sen avulla voidaan arvioida kolmannen osapuolen palveluntarjoajia ennen päätöksentekoa.tracpäätös
• Mahdollistaa vältettävät virheet selvittämisen

Vertailutestisuunnitelman luominen

Testisuunnitelma on benchmark-testausprosessin tärkein osa. Vertailutestisuunnitelma noudattaa alla annettuja vaiheita -

1. Työkuorman skaalaus ja kutsuminen
2. Kerää ja tallenna mittareita vertailutestausta varten
3. Määritä vaadittu aikaväli ja testiprosessin päätepiste
4. Valmistele varasuunnitelma uusien testitapausten epäonnistumisen voittamiseksi
5. Päätä valtuudet kutsua lopetusprosessin lopettamiseen

Kuinka tehdä vertailutestaus

Vertailutestaukseen sisältyy 4 vaihetta:

Vaihe 1) Suunnitteluvaihe

• Standardien ja vaatimusten tunnistaminen ja priorisointi
• Päätä vertailukriteerit
• Määritä vertailutestiprosessi

Vaihe 2) Analyysivaihe

• Tunnista virheen perimmäinen syy laadun parantamiseksi
• Tavoitteiden asettaminen testiprosessille

Vaihe 3) Integrointivaihe

• Jaa tulokset asianomaisen henkilön kanssa ja hanki hyväksyntä
• Aseta toiminnalliset tavoitteet

Vaihe 4) Toimintavaihe

• Kehitä testisuunnitelma ja dokumentaatio
• Toteuta aikaisemmissa vaiheissa määritellyt toimet ja seuraa edistymistä
• Suorita prosessi jatkuvasti

Vertailutestauksen komponentit

Eri järjestelmät ovat monimutkaisia ​​ja vaativat erilaisia ​​tekniikoita sovellusten testaamiseen.

Vertailutestauksessa on 3 pääkomponenttia. He ovat

1. Työmäärän tiedot: Testattavaan järjestelmään lähetettävien pyyntöjen tyypin ja tiheyden määrittäminen.
2. Mittareiden tekniset tiedot: Määritä mikä elementti mitataan esim. Latausnopeus
3. Mittauksen erittely: Määritellään, kuinka määritetyt elementit mitataan sopivien arvojen löytämiseksi

Vertailutestauksessa huomioon otettavat asiat

Jotta benchmark-testaus onnistuisi, seuraavat tosiasiat on otettava huomioon.

• Johdonmukaisuus ja hallinta ovat tärkeitä toimenpiteitä benchmark-testauksen suorittamisessa.
• Ymmärrä järjestelmän arkkitehtuuri testauskriteerien ja testitietojen suunnittelua varten
• Tarkista alkuperäiset staattiset tiedot ja päivitä käyttäjien määrän mukaan
• Tarkista "Nollaa"-toiminto aina tarvittaessa ja määritä sekuntikohtainen tapahtumanopeus (tämä koskee erityisesti käyttäjien tapahtumia tietokannassa)
• Jaa järjestelmän elementit sen toimintojen mukaan
• Jokaisella järjestelmällä on erilainen arkkitehtuuri ja muotoilu, jotka on otettava huomioon benchmark-testauksessa
• Varmista, että kaikki ohjelmistokomponentit ovat toimintakunnossa
• Käyttöjärjestelmän ja sitä tukevien ohjainten pitäisi toimia oikein
• Poista esihaku ja väliaikaiset tiedostot järjestelmästä ennen vertailun suorittamista
• Sulje kaikki taustalla käynnissä olevat prosessit ja sovellukset
• Tarkista käyttöjärjestelmäpäivitykset ja todelliset kokoonpanot

Benchmark Testing Frameworks

Benchmark Testing Frameworks auttaa suorittamaan joitakin perustehtäviä suorituskyvyn tarkistuksia varten. Näitä perustehtäviä ovat mm.

1. Tietokannan käyttö
2. Palvelinpuolen kokoonpano
3. JSON-serialisointi
4. Konfigurointi

Benchmark Framework 2.0 & TechEmpower ovat enimmäkseen käytettyjä Benchmark Testing -kehyksiä.

Katsotaanpa TechEmpoweria. Katsomme nopeasti sen tärkeimmät ominaisuudet.

• Se on avoimen lähdekoodin kehys vertailutehtävien suorittamiseen
• Se vaatii oikean benchmarking-ympäristön määrityksen
• Tilaa on pääasiassa kaksi, kuten Vertailutila tulosten vertailuun ja Vahvista tila niille, jotka eivät ole asiantuntijoita
• Tarvitaan useita tiedostoja, jotka ovat ainutlaatuisia ja voivat vaihdella järjestelmästä toiseen
• Se sisältää "Benchmark Config File" -tiedoston, joka määrittää joukon testiohjeita ja metatietoja vertailuohjelmalle
• Se perustuu useisiin kieliin, kuten Java, Python, Ruby, PHP, JavaKäsikirjoitus, Perl, C, Groovy, Haskell, Scala jne.
• Object – Relational Mapperia (ORM) käytetään tietokantojen testeihin, JSON-serialisointiin jne.

Vertailutestaustyökalut

Vertailutestaustyökalut luokitellaan vastaavasti. Ilmoittaudumme yksitellen.

Testaustyökalut Windows PC:t:

1. Prime95
2. Novabench
3. 3DMark
4. SiSoftware Sandra

Työkalut prosessorin suorituskyvyn testaamiseen:

1. Cinebench
2. Geekbench

Työkalut järjestelmän nopeus- ja mobiililaitteiden akkujen testaamiseen:

1. Phoronix (Linux)
2. prosessori UserBenchmark (CPU-vertailutesti)
3. Vellamo (Web-selauksen suorituskyky)

Vertailutestaus voidaan suorittaa myös Android puhelimet ja tabletit. Kaikkien mukana, Hyväksymisraja on tunnettu ja laajalti käytetty Benchmark Testing -työkalu.

Kuinka tämä testi sopii suorituskykytestausperheeseen

Suorituskykytestaus on yleiskäsite. Alla olevat variantit eroavat toisistaan ​​vain käytetyn kuormituksen muodon ja sen keston suhteen, minkä vuoksi ne sekoitetaan niin usein toisiinsa.

Testityyppi	Kuormituskuvio	Kysymys, johon se vastaa
Kuormitustestaus	Odotettu huippukuormitus, lyhytaikainen	Saavuttaako järjestelmä tavoitteensa normaalin ruuhka-ajan liikenneolosuhteissa?
Stressitestaus	Yli kapasiteetin, kunnes vika	Missä se katkeaa, ja pettääkö se tyylikkäästi?
Piikkitestaus	Äkillinen äärimmäinen nousu, sitten vieroitusoireet	Selviääkö se liikenneiskusta ja toipuuko siitä?
Kestävyystesti	Normaali kuormitus useita tunteja	Heikentyykö suorituskyky ajan myötä?
Liotustestaus	Jatkuva kuormitus pitkän ajan kuluessa	Onko muistivuotoja tai resurssien loppumista?
Stabiliteettitestaus	Vaihteleva kuormitus eri olosuhteissa	Pysyykö järjestelmä luotettavana olosuhteiden muuttuessa?
Volyymitestaus	Tavalliset käyttäjät, erittäin suuri tietomäärä	Selviytyykö se tietokannan kasvaessa?

Kestävyys- ja liotuskokeita käsitellään usein synonyymeinä. Yleisesti ottaen ne ovat: molemmat pitävät yllä jatkuvaa kuormitusta pitkään. Siinä missä tiimit erottavat ne toisistaan, kestävyystestaus keskittyy siihen, nousevatko vasteajat, kun taas lyhyiden käyttöiän testaus keskittyy resurssien, kuten muistin, tiedostokahvojen ja yhteyspoolien, kulutukseen. Toisen suorittaminen antaa yleensä todisteita molemmista.

Vertailutestaus: Keskeiset tiedot

• Ohjelmistosuunnittelussa benchmark-testaus antaa toistettavan joukon mitattavissa olevia tuloksia järjestelmän suorituskyvystä.
• Hyödyllinen kuormitusolosuhteiden harjoittamisessa ja järjestelmän käyttäytymisen määrittämisessä DDoS-hyökkäyksiä vastaan.
• Työkuormitusmääritykset, mittarit ja mittausspesifikaatiot ovat benchmark-testauksen tärkeimpiä komponentteja.
• Useita työkaluja ja kehyksiä käytetään benchmark-testauksen suorittamiseen nopeasti ja tehokkaasti.
• Vertailutestaus on hyödyllinen myös mobiililaitteille.

UKK