Wat is configuratietesten? Voorbeeld testgevallen

⚡ Slimme samenvatting

Configuratietesten voeren een applicatie uit op verschillende combinaties van software en hardware, zodat een team kan bevestigen dat de functionele eisen overal nog steeds gelden en de optimale configuratie voor de release kan bepalen.

  • 🧩 Domein: OperaBesturingssystemen, browsers, databaseversies, stuurprogramma's, geheugen en randapparatuur tellen allemaal mee als configuratie.
  • 📐 Twee types: Softwareconfiguratietests hebben betrekking op platforms en updates; hardwareconfiguratietests hebben betrekking op aangesloten apparaten.
  • 🗂️ Matrix eerst: Stel een combinatiematrix samen en geef er vervolgens prioriteit aan, want een volledige dekking is onbetaalbaar.
  • ​ Virtuele machines: Snapshots vervangen de herhaalde installatie- en verwijderingscycli op fysieke testmachines.
  • 🏦 Uitgewerkt voorbeeld: Een bankapplicatie en de bijbehorende modellen van een geldtelmachine illustreren hardwaretestgevallen.
  • 🚨 Opzettelijk falen: Het opzettelijk verwijderen van een voorwaarde legt gebreken bloot die in een volledig ingericht lab verborgen blijven.

Configuratietesten met verschillende software- en hardwarecombinaties

Configuratie testen

Configuratie testen Testen is een softwaretesttechniek waarbij de applicatie wordt getest met meerdere combinaties van software en hardware, om de functionele eisen te evalueren en de optimale configuraties te vinden waaronder de applicatie zonder defecten of fouten werkt.

Een configuratie is elke combinatie die het product moet ondersteunen: een versie van het besturingssysteem, een browser, een databaseversie, een driver, een geheugengrootte of een aangesloten randapparaat. Het is belangrijk om dit te onderscheiden van compatibiliteitstestenEen eerste test onderzoekt of het product samenwerkt met andere software en platforms. Configuratietesten stellen een specifiekere vraag: blijft dezelfde build correct functioneren nadat de ondersteunde configuratie is gewijzigd?

Configuratietestvoorbeeld

Neem een ​​desktopapplicatie als voorbeeld.

Desktopapplicaties worden meestal in een 2-laags of 3-laags structuur opgebouwd. Neem bijvoorbeeld een 3-laags desktopapplicatie die is ontwikkeld in ASP.NET, bestaande uit een client, een businesslogica-server en een databaseserver, waarbij elk onderdeel de onderstaande platforms ondersteunt.

  • Klantenplatform – Windows XP, Windows 7, Windows 8, enzovoort
  • Serverplatform – Windows Server 2008, Windows server 2008 R2, Windows Server 2012 R2
  • Database - SQL Server 2008, SQL Server 2008 R2, SQL Server 2012, enzovoort.

De tester moet de client, server en database samen testen op alle platform- en databaseversies om te bevestigen dat de applicatie correct functioneert en geen fouten vertoont bij welke ondersteunde combinatie dan ook.

Configuratietesten beperken zich niet tot software. Ze zijn ook van toepassing op hardware, vandaar dat de hardwarekant hardwareconfiguratietesten wordt genoemd: printers, scanners, webcams en soortgelijke apparaten die de te testen applicatie moet ondersteunen. De onderstaande matrix laat zien hoe deze combinaties zijn opgesteld voordat de testuitvoering begint.

Configuratietestmatrix voor combinaties van client, server en database

Vereisten voor configuratietests

Voordat de configuratietest voor een project begint, moeten er drie voorwaarden aanwezig zijn.

  • Het opstellen van een matrix met een overzicht van de verschillende combinaties van software- en hardwareconfiguraties.
  • Prioriteit geven aan die configuraties, omdat het testen van elke configuratie niet realistisch is.
  • Elke configuratie wordt getest in de volgorde die door die prioritering is bepaald.

Doelstellingen van configuratietests

Configuratietesten hebben tot doel het volgende te bereiken.

  • Valideer de applicatie aan de hand van de configuratievereisten.
  • Veroorzaak opzettelijk storingen om defecten aan het licht te brengen die bij normale tests over het hoofd worden gezien, bijvoorbeeld door regionale instellingen zoals tijdzone, taal of datumnotatie te wijzigen.
  • Bepaal de optimale configuratie van de te testen applicatie.
  • Analyseer de systeemprestaties terwijl hardwarebronnen veranderen, zoals het toevoegen van loadbalancers, het vergroten of verkleinen van het geheugen of het aansluiten van verschillende printermodellen.
  • Analyseer de systeemefficiëntie ten opzichte van de prioritering en beoordeel hoe goed de tests de beschikbare resources hebben benut om die optimale configuratie te bereiken.
  • Test het systeem in een geografisch verspreide omgeving, bijvoorbeeld met de server op de ene locatie en de clients op een andere, waar het systeem zou moeten werken ongeacht de lokale systeeminstellingen.
  • Controleer hoe gemakkelijk defecten zich voordoen wanneer de configuratie wordt gewijzigd.
  • Bevestig dat de aanvraagdocumenten blijven tracaantoonbaar door middel van de juiste documentatie en duidelijk herkenbare versie-registraties.
  • Controleer of de applicatieonderdelen gedurende het hele proces beheersbaar blijven. levenscyclus van softwareontwikkeling

Configuratietests uitvoeren

De strategie hangt af van welk van de twee typen configuratietesten relevant is.

  • Testen van softwareconfiguratie
  • Testen van hardwareconfiguratie

Testen van softwareconfiguratie

Bij het testen van de softwareconfiguratie wordt de te testen applicatie getest op meerdere besturingssystemen, met verschillende software-updates en afhankelijkheden. Dit is tijdrovend, omdat elke testronde inhoudt dat de betreffende software opnieuw geïnstalleerd en verwijderd moet worden.

Een veelgebruikte manier om die kosten te drukken is door te testen op virtuele machinesEen virtuele machine is een in software geïnstalleerde omgeving die zich gedraagt ​​als fysieke hardware. De tester werkt dus alsof hij op een echte machine werkt, terwijl de configuratie zelf vervangbaar is. Virtuele machines simuleren echte configuraties voldoende nauwkeurig voor de meeste functionele controles.

In plaats van de applicatie op meerdere fysieke machines te installeren en te verwijderen, wordt deze op een virtuele machine geïnstalleerd en worden de tests van daaruit voortgezet. Het parallel draaien van meerdere virtuele machines, die elk vanuit een snapshot worden hersteld, vereenvoudigt het werk aanzienlijk.

Het testen van de softwareconfiguratie kan doorgaans beginnen wanneer

  • De te testen configureerbaarheidseisen worden gespecificeerd.
  • De test omgeving is gereed
  • Het testteam is getraind in configuratietesten.
  • De uitgebrachte versie heeft de unit- en integratietests doorstaan.

De typische test strategie Een eerste strategie is om de functionele testsuite uit te voeren op elke softwareconfiguratie en te controleren of de applicatie zich gedraagt ​​zoals bedoeld, zonder gebreken of fouten. Een tweede strategie is om testgevallen opzettelijk te laten mislukken en te controleren hoe efficiënt het systeem hiermee omgaat.

Voorbeeld:

Neem bijvoorbeeld een bankapplicatie die in meerdere browsers getest moet worden. Als deze gehost wordt in een omgeving waar aan alle vereisten is voldaan, zal de applicatie waarschijnlijk wel slagen voor de unit-test. integratie testen in het testlaboratorium.

Eenmaal geïnstalleerd bij een klant, kan dezelfde applicatie falen omdat de betreffende machines software-updates missen of de afhankelijkheden waar de applicatie direct of indirect van afhankelijk is. Door opzettelijk bepaalde configuratie-eisen te verwijderen en vervolgens opnieuw te testen, wordt dit type defect aan het licht gebracht voordat de klant het ontdekt. ​​De onderstaande afbeelding toont hoe een dergelijke configuratie-afhankelijke fout in een gecontroleerde omgeving wordt gereproduceerd.

Bankapplicatie werkt niet op een clientcomputer vanwege ontbrekende vereisten.

Testen van hardwareconfiguratie

Hardwareconfiguratietests worden doorgaans uitgevoerd in een laboratorium met fysieke machines waaraan verschillende hardwarecomponenten zijn gekoppeld.

Telkens wanneer een nieuwe build wordt uitgebracht, wordt de software op al die machines geïnstalleerd en wordt de testsuite op elk ervan uitgevoerd om te bevestigen dat de applicatie werkt met het aangesloten apparaat.

Die taak vergt aanzienlijke inspanning: de software installeren op elke machine, de hardware aansluiten en vervolgens de suite handmatig of geautomatiseerd uitvoeren.

Ook het type hardware dat getest moet worden, moet worden gespecificeerd. Computerhardware en randapparatuur zijn zo divers dat het onmogelijk is om ze allemaal te testen. Daarom analyseert de tester welke apparaten de gebruikers daadwerkelijk gebruiken en test hij op basis van die prioriteitstelling.

Voorbeeldtestgevallen

Neem bijvoorbeeld een scenario voor de banksector waarbij de hardwarecompatibiliteit wordt getest. Een bankapplicatie die is gekoppeld aan een geldtelmachine moet werken met verschillende modellen, zoals Rolex, Strob, Maxsell en StoK.

Sample testgevallen Voor de geldtelmachine dient u het volgende te vermelden.

  • Controleer de verbinding tussen de applicatie en het Rolex-model wanneer de vereisten NIET zijn geïnstalleerd.
  • Controleer de verbinding tussen de applicatie en het Rolex-model zodra aan de vereisten is voldaan.
  • Controleer of het systeem de bankbiljetten correct telt.
  • Controleer hoe het systeem een ​​foutieve telling rapporteert.
  • Controleer de afhandeling van vervalste bankbiljetten.
  • Controleer de reactietijden.
  • Controleer of valse bankbiljetten worden gedetecteerd.

Die gevallen hebben betrekking op één enkel model, en elk ander model op de markt moet in een testlaboratorium op dezelfde manier worden ingesteld en getest, wat intern zelden haalbaar is. Het uitbesteden van hardwareconfiguratietesten aan een organisatie die daarin gespecialiseerd is, is vaak de meest realistische optie.

Veelgestelde vragen

Configuratietesten variëren de door het product zelf ondersteunde configuratie – besturingssysteem, databaseversie, aangesloten apparaat – en voeren de testsuite opnieuw uit. Compatibiliteitstesten controleren of het product samenwerkt met externe software, platforms en browsers waarmee het moet functioneren.

Zoveel als het risico rechtvaardigt. Gebruiksanalyses bepalen de volgorde: de platform-, browser- en apparaatcombinaties die het meest door gebruikers worden gebruikt, worden eerst gedekt, gevolgd door de minimaal ondersteunde specificaties.

Normaal gesproken is het QA-team, ondersteund door systeembeheerders die de omgevingen inrichten, hiervoor verantwoordelijk. Bij hardware-intensieve producten is een speciaal labteam, of een externe specialist, verantwoordelijk voor de fysieke apparaatdekking.

Virtuele machine- en containerplatformen voor software-installaties, apparaatlabs of cloud-apparaatparken voor hardware en browsers, en een test automatisering framework om dezelfde suite op elke configuratie opnieuw af te spelen.

Combinatorische explosie, de kosten van licenties en fysieke apparaten, trage omgevingsprovisionering en defecten die zich slechts in één configuratie voordoen. Prioritering en virtualisatie bieden een oplossing voor de meeste van deze problemen.

Na het succesvol doorlopen van de unit- en integratietests, en doorgaans gelijktijdig met de systeemtests, worden deze tests herhaald vóór elke grote release. Een nieuw besturingssysteem of een nieuwe driverversie kan namelijk eerdere resultaten ongeldig maken.

Modellen rangschikken configuratiecombinaties op basis van daadwerkelijk gebruik en historische defectgegevens, waardoor de matrix wordt ingekort tot de rijen met het hoogste risico. Ze groeperen ook storingen om aan te tonen welke storingen een gemeenschappelijke configuratieoorzaak hebben.

Ja. Het genereert geparameteriseerde teststructuren, scripts voor het inrichten van de testomgeving en CI-taakdefinities die één testsuite uitvoeren op meerdere configuraties. De matrix zelf moet nog steeds afkomstig zijn uit de lijst met ondersteunde platforms.

Vat dit bericht samen met: