Testování interoperability v testování softwaru
Thomas Hamilton
⚡ Chytré shrnutí
Testování interoperability ověřuje, zda si softwarový produkt správně vyměňuje data s ostatními komponentami, zařízeními a systémy dodavatelů, a dokazuje tak, že komplexní funkcionalita mezi dvěma komunikujícími systémy se chová přesně tak, jak specifikují uvedené požadavky.
Co je testování interoperability?
Testování interoperability je typ testování softwaru, který kontroluje, zda software může interagovat s jinými softwarovými komponentami a systémy. Účelem testů interoperability je zajistit, aby softwarový produkt byl schopen komunikovat s jinými komponentami nebo zařízeními bez problémů s kompatibilitou.
Jinými slovy, testování interoperability znamená prokázání, že komplexní funkčnost mezi dvěma komunikujícími systémy odpovídá požadavkům. Například testování interoperability se provádí mezi chytrými telefony a tablety za účelem ověření přenosu dat přes Bluetooth.
Je klasifikován jako forma funkční testování, protože otázka, na kterou odpovídá, je behaviorální: dorazí vyměňované informace v neporušeném stavu a reaguje přijímající systém na ně správně?
Různé úrovně interoperability softwaru
Dva systémy se mohou vzájemně shodovat v několika hloubkách. Každá úroveň níže předpokládá, že úroveň nad ní již funguje.
- Fyzická interoperabilita — samotné připojení je navázáno, například přes Bluetooth, Wi-Fi, USB nebo kabelové síťové připojení.
- Interoperabilita datových typů — obě strany kódují a dekódují stejné primitivní typy, znakové sady a pořadí bajtů.
- Interoperabilita na úrovni specifikace — obě strany implementují stejné formáty zpráv a protokolová pravidla publikovaná ve specifikaci.
- Sémantická interoperabilita — obě strany přikládají vyměňovaným datům stejný význam, takže pole jako „teplota“ je interpretováno ve stejné jednotce a kontextu.
Proč provádět testování interoperability
Testování interoperability se provádí proto,
- Zajišťuje komplexní poskytování služeb napříč dvěma nebo více produkty od různých dodavatelů.
- Softwarový produkt by měl být schopen komunikovat s jinými komponentami nebo zařízeními bez problémů s kompatibilitou.
Rizika spojená s nedostatkem testování interoperability jsou
- Ztráta dat
- Nespolehlivý výkon
- Nespolehlivý provoz
- Nesprávný provoz
- Nízká udržovatelnost
Jak provést testování interoperability
Testovací proces pro testování interoperability zahrnuje následující kroky.
Krok 1: Spusťte projekt.
- Definovat a formalizovat popis práce a nastavit infrastrukturu pro řízení projektů.
Krok 2: Vytvořte testovací laboratoř
- Ujistěte se, že jsou pro testovací aktivity nastaveny všechny potřebné dovednosti a automatizační nástroje.
- Používejte automatizační nástroje pro minimalizaci testovacích případů a jejich opětovné použití
- Udržujte databázi konfiguračních souborů
- Zaznamenávejte a analyzujte metriky pro projekt
- Zaznamenejte konfiguraci z neúspěšných testů pro referenci a analýzu
Krok 3: Vypracujte plán testování
- Napsat Testovací plán
- Definujte testovací případy a postupy
- Nastavte potřebné monitorovací zařízení pro udržování testovacích protokolů.
Krok 4: Proveďte testovací plán
- Proveďte testovací případy
- Spolupracujte s testovacím týmem na analýze hlavní příčiny selhání
Krok 5: Výsledky dokumentu
- Použijte testovací protokoly k zaznamenání implementačních poznámek
Krok 6: Uvolněte zdroje a vyhodnoťte výkon na projektu,
- S pomocí automatizačních nástrojů analyzujte výsledky testů
Příklad testovacích případů pro testování interoperability
Níže uvedený diagram znázorňuje typické uspořádání se dvěma dodavateli: zařízení od různých výrobců jsou propojena a každá výměna mezi nimi se stává testovacím případem.
Testovací strategie pro testování interoperability zahrnuje
- Připojte dvě nebo více zařízení od různých výrobců
- Zkontrolujte konektivitu mezi zařízeními
- Zkontrolujte, zda zařízení může odesílat a přijímat pakety nebo rámce od sebe navzájem.
- Zkontrolujte, zda je s daty ve vrstvách sítě a zařízení správně nakládáno
- Zkontrolujte, zda implementované algoritmy fungují správně
- Výsledek je v pořádku: zkontrolujte další výsledek
- Výsledek není v pořádku: Použijte nástroje monitorování k detekci zdroje chyby.
- Hlásit výsledek v testovacím reportovacím nástroji.
Nástroje a techniky pro testování interoperability
Žádný samostatný produkt nepokrývá matici interoperability od začátku do konce. Většina týmů kombinuje pohled na úrovni paketů, funkční pohled a způsob, jak zastoupit partnerské systémy, které nejsou v laboratoři k dispozici.
| Kategorie | Typické nástroje | Co vám to pomůže ověřit |
|---|---|---|
| Analyzátory protokolů a paketů | Wireshark, tcpdump, sniffery protokolů dodavatelů | Zda zprávy odcházejí a přicházejí v očekávaném formátu na bitové úrovni |
| API a klienti webových služeb | Postman, SoapUI | Žádost a odpověď contracts mezi službami vytvořenými různými dodavateli |
| Virtualizace služeb, stuby a mocky | WireMock, Mountebank, pahýly SDK dodavatele | Chování partnerského systému, který je nedostupný, nákladný nebo stále ve vývoji |
| Simulátory a emulátory zařízení | Simulátory dodavatelů, emulátory platforem pro chytré domácnosti a IoT | Velké matice zařízení a firmwaru bez nutnosti kupovat každou fyzickou jednotku |
| Automatizace CI | Jenkins, GitLab CI, Azure Potrubí | Automatické opakované spuštění celé kombinační matice po každém sestavení |
Spolu s těmito nástroji se opakují tři techniky: párové testování pro udržení spravovatelnosti matice kombinací dodavatelů, negativní testování s chybně formátovanými nebo chybnými zprávami a protokolování na úrovni protokolu, aby bylo možné hlásit chybu. tracpřesně k tomu rámu, který se zlomil.
Nejlepší postupy pro testování interoperability
Vady interoperability jsou drahé, protože se objeví pozdě, v prostředí někoho jiného. Níže uvedené postupy udržují matici pod kontrolou.
- Udržujte matici kompatibility který uvádí všechny modely zařízení, verze firmwaru a verze protokolu v rozsahu a aktualizuje je při každém vydání.
- Test zpětné a dopředné kompatibility, nejen nejnovější pár. Starší kolegové zůstávají v oboru roky.
- Anchor testovací případy podle publikovaného standardu například profil IEEE, ISO, IETF nebo oborový profil, takže „pass“ znamená něco, co oba dodavatelé akceptují.
- Automatizujte a spouštějte nepřetržitě uvnitř CI kanálu, protože aktualizace partnera může přerušit párování, které proběhlo včera.
- Simulujte před nákupem — emulátory levně pokrývají širokou škálu a fyzické laboratoře pak potvrzují kombinace s nejvyšším rizikem.
- Řízení verzí v každé konfiguraci takže neúspěšný běh lze přesně reprodukovat.
- Zkouška za zhoršených podmínek včetně časových limitů, zahozených paketů, částečných zpráv a neshody verzí, nejen šťastné cesty.
- Dohodněte se na formátu podávání zpráv včas s partnerským dodavatelem, takže vady jsou žalovatelné na obou stranách.
Testování interoperability versus testování shody
Testování interoperability, shody a kompatibility se často používají zaměnitelně, ale každé z nich odpovídá na jinou otázku.
| Vzhled | Testování interoperability | Testování shody | Testování kompatibility |
|---|---|---|---|
| Účel | Zajišťuje, že produkt nebo software bude bez problémů spolupracovat s dalšími certifikovanými produkty. | Zajišťuje shodu produktu s požadovanými normami a specifikacemi. | Zajišťuje, aby produkt fungoval správně v daném prostředí, jako je operační systém, prohlížeč nebo hardwarová konfigurace. |
| Odpověď na otázku | Mohou tyto dva systémy fungovat společně? | Dodržuje tento systém pravidla? | Funguje tento systém tady správně? |
| Referenční bod | Produkt jiného dodavatele | Publikovaná norma | Cílová platforma nebo prostředí |
| Příklad | Přenos souborů mezi telefonem a tabletem přes Bluetooth | Ověřování zpráv protokolu podle specifikace | Spuštění stejné aplikace na Android 14, Android 15 a Android 16 |
Nevýhody testování interoperability
Hlavními obtížemi při testování interoperability jsou
- Určení základních příčin vad — porucha se může nacházet v obou systémech nebo v síti mezi nimi.
- Přesné měření — výsledky závisí na načasování a zatížení, takže stejný test může v po sobě jdoucích bězích projít i selhat.
- Škálovatelnost testování — každý nový dodavatel vynásobí kombinační matici.
- Složitost sítě — skutečné topologie zřídka odpovídají zjednodušenému laboratornímu nastavení.
- Testování zkušebního zařízení — analyzátory a simulátory potřebují vlastní validaci, než lze výsledkům důvěřovat.
- Dokumentování výsledků testů a učení — zjištění musí být čitelná pro externího partnera, nejen pro místní tým.
- Neadekvátní požadavky — vágní specifikace způsobují, že oba dodavatelé jsou technicky shodní, ale nemohou komunikovat.
